这篇是OpenAI首席科学家Ilya Sutskever的深度访谈，核心观点是：深度学习这个受大脑启发的简单想法，在足够数据和算力下真的能逼近人类智能，而且我们一直在低估它。他认为未来实现通用人工智能（AGI）只需要“深度学习加上另一个小想法”，比如自对弈（让AI自己和自己玩，产生意想不到的创造力）。他重点提到了GPT-2（一个里程碑式的语言模型）、AlphaZero（下围棋的AI，证明神经网络能推理）和OpenAI的DotaBot（多智能体系统，展示了自对弈的惊喜能力）。
该报告是Lex Fridman对OpenAI联合创始人兼首席科学家Ilya Sutskever的深度访谈摘要，主题聚焦于深度学习的发展与未来。核心观点是，Sutskever作为拥有超过165,000次引用的顶尖计算机科学家，强调了深度神经网络在2010-2011年间通过反向传播训练大型模型（如AlexNet）的突破性进展，这被视为深度学习革命的催化剂。重要结论包括：Sutskever指出，早期训练大型神经网络的能力（尽管按现代标准较小）是关键转折点，而James Martens的研究进一步验证了其潜力。报告还提及，深度学习在人工智能、加密货币（如Bitcoin）及STEM教育（如FIRST组织
Ilya Sutskever（OpenAI 联合创始人兼首席科学家，引用超 165,000 次）与 Lex Fridman 深度探讨深度学习的本质、突破与未来。全片最有分量的判断：Sutskever 认为深度学习最令人惊叹之处在于“它真的能工作”——一个受大脑启发的简单想法（神经网络+反向传播），在足够数据和算力下，竟能逼近人类智能的核心功能，且每次被低估后都证明还能走得更远。
Sutskever 认为，2010-2011 年是关键转折点。 当时他连接了两个事实：一是 James Martens 用 Hessian Free Optimizer 成功训练了一个 10 层神经网络（无需预训练），二是他意识到“10 层网络”与人类大脑在 100 毫秒内完成物体识别的神经层数（约 10 层）存在类比。这让他坚信：只要能用反向传播训练足够大的神经网络，配上足够多的监督数据，它就能成功。
“The main doubt was, can we train a big, will we have enough compute to train a big enough neural net? With backpropagation, I thought it would work.”（主要疑虑是：我们是否有足够算力来训练一个足够大的神经网络？对于反向传播，我认为它会奏效。）
关键催化剂：Alex Krizhevsky 编写了极快的 CUDA 卷积神经网络内核，加上 ImageNet 数据集的出现，三者结合引爆了深度学习革命。Sutskever 强调，在此之前神经网络“确实在几乎所有任务上都不是最佳方法”，因此需要“hard benchmarks”来提供无可辩驳的证据，从而终结无休止的争论。
Sutskever 认为，大脑在某些维度上远超当前模型，但人工神经网络也有重要优势。 他评估了几个关键差异：
独到类比：Sutskever 将深度学习描述为“生物学和物理学的几何平均”——生物学理论复杂且预测力弱，物理学理论过于精确，而深度学习介于两者之间。
Sutskever 认为，机器学习领域具有“巨大的统一性”，只有一两个或三个非常简单的原则，几乎以相同方式适用于不同模态和问题。
关于语言 vs. 视觉的难度：Sutskever 最初犹豫，但最终认为“语言可能更难”——如果定义为“100% 的语言理解”。但他也指出，视觉与语言的界限模糊（阅读是视觉还是语言？），很可能“获得一个就能免费获得另一个”。
Sutskever 解释了这个反直觉现象：当固定数据集、逐步增大神经网络大小时，性能先快速提升，然后在达到零训练误差时突然恶化，之后再次提升。直觉是：当数据自由度等于模型自由度时，模型对数据中的微小随机性极度敏感；而当参数远多于数据或数据远多于参数时，解对数据变化不敏感。
关键细节：如果不做早停（early stopping），双下降现象非常明显；如果做早停，则几乎消失。
Sutskever 认为神经网络已经能够推理，证据有二：AlphaZero 的神经网络（不含搜索）下围棋水平超过 99.9% 的人类；人类本身就是存在证明。“Humans can reason. So why can’t neural networks?”（人类能推理，为什么神经网络不能？）
但他指出关键限制：神经网络只会“以最容易的方式解决你摆在它面前的问题”——如果你训练的任务不需要推理，它就不会推理。他期待的未来推理基准包括：写出真正好的代码、证明未解决的定理、解决开放式问题。
Sutskever 认为主动学习需要一个“真正需要它的任务”才能取得突破。 在 MNIST 上做主动学习演示已不足以说服人。他期待未来的语言模型能“用自己的智能决定接受哪些数据、拒绝哪些数据”——就像人类一样有选择性。
Sutskever 认为自对弈将是 AGI 的关键组件，因为它具有“以真正新颖的方式让我们惊讶”的特性——DotaBot、Hide-and-Seek、AlphaZero 都产生了出乎意料的创造性解决方案。“That seems like an important part of AGI that our systems don’t exhibit routinely right now.”（这似乎是 AGI 的重要组成部分，而我们的系统目前还不能常规地展现这一点。）
Sutskever 的答案简洁而有力：“Deep learning plus maybe another small idea.”（深度学习加上可能另一个小想法。）他相信自对弈会是其中之一。
关于具身性：他认为身体“有用但不必要”——就像 Helen Keller 虽然失明失聪，但仍能补偿并成功。
Sutskever 描绘了一个乐观的 AGI 治理愿景：人类像公司董事会，AGI 像 CEO——不同城市或国家的居民投票选出代表他们的 AGI，AGI 去执行。关键在于“董事会可以按下重置按钮”。
他坚信：“It’s definitely possible to build AI systems which will want to be controlled by their humans.”（完全有可能构建出“想要被人类控制”的 AI 系统。）类比：人类父母通常乐于帮助孩子，这不是负担而是喜悦。同样，可以设计 AGI 使其“deep drive”是“帮助人类繁荣”。
关于权力：当被问及是否会愿意放弃对 AGI 的控制权时，Sutskever 回答：“I’d find it trivial to do that. The kind of scenario you are describing sounds terrifying to me.”（我觉得这很容易做到。你描述的那种场景对我来说听起来很可怕。）
| 标的 | 嘉宾态度 | 关键数据 |
|---|---|---|
| GPT-2 | 正面评价（里程碑式进展） | 15 亿参数，训练于约 400 亿 token（来自 Reddit 链接≥3 赞的网页） |
| AlphaZero | 正面引用（推理能力证据） | 神经网络（不含搜索）下围棋超过 99.9% 人类 |
| OpenAI DotaBot | 正面引用（自对弈的惊喜能力） | 多智能体系统，产生意外行为 |
| OpenAI Hide-and-Seek | 正面引用（自对弈的创造性） | 两个智能体玩捉迷藏，产生意外策略 |
| OpenAI 机器人手（Rubik's Cube） | 正面引用（sim-to-real 成功案例） | 100% 在模拟中训练，策略被训练得高度自适应 |
1. “The most beautiful thing about deep learning is that it actually works.”（深度学习最美妙之处在于它真的能工作。）——Sutskever 认为，一个受大脑启发的简单想法，在足够数据和算力下逼近人类智能，这“难以置信”。
2. 深度学习是“生物学和物理学的几何平均”——Sutskever 自创的框架：生物学理论复杂且预测力弱，物理学理论过于精确，深度学习介于两者之间。
3. “We keep underestimating deep learning.”（我们一直在低估深度学习。）——Sutskever 指出，每年人们都以为“这是巅峰了”，但第二年它又走得更远。
4. 神经网络能推理，但只会“以最容易的方式解决你摆在它面前的问题”——如果训练任务不需要推理，它就不会推理。这是当前系统与人类的关键差距。
5. 自对弈的独特价值在于“以真正新颖的方式让我们惊讶”——Sutskever 认为这是 AGI 的重要组成部分，而当前系统还不能常规展现。
6. “It’s definitely possible to build AI systems which will want to be controlled by their humans.”（完全有可能构建出“想要被人类控制”的 AI 系统。）——Sutskever 用父母乐于帮助孩子的类比，论证 AGI 可以被设计为以“帮助人类繁荣”为深层驱动力。
7. 双下降（Deep Double Descent）的直觉：当数据自由度等于模型自由度时，模型对数据中的微小随机性极度敏感；而参数远多于数据或数据远多于参数时，解对数据变化不敏感。
8. Transformer 的成功是“多个想法的同时组合”——注意力（attention）只是其中之一，另外两个关键因素是：在 GPU 上运行极快、非循环（更浅、更易优化）。