这篇播客里，LSTM（一种能记住很久以前信息的AI技术）的发明人Schmidhuber聊了他对AI未来的看法。他认为真正的智能应该能自己改进自己的学习方式，而不是像现在流行的做法那样只是把旧知识用到新任务上。他提到，终极的智能算法可能很简单，就几行代码，但需要建立在几千年的知识积累上。他还觉得，宇宙可能不是随机的，而是像π的小数点后数字那样看似随机但实际有规律。他看好LSTM（能记住超过1000万步前的信息，用于语音识别），也看好他自己创办的Nascence公司（让小车学会自己泊车），但认为Gödel机器（一种理论上最优但太慢的自我改进系统）目前还不实用。
Juergen Schmidhuber在Lex Fridman播客中讨论了其毕生追求的递归自我改进AI系统。核心观点是，真正的元学习（meta-learning）应让机器不仅学习解决具体问题，还能自我检查和修改学习算法本身，实现递归自我改进（recursive self-improvement）。他早在1987年的硕士论文中就提出了这种无计算限制的元学习层级结构，仅受限于Gödel在1931年识别的极限和物理极限。Schmidhuber批评近年流行的所谓“元学习”只是基本的迁移学习（transfer learning），并非其设想的通用问题解决器。他作为LSTM（long short-term
Juergen Schmidhuber，LSTM（长短期记忆网络）共同创造者，在 Lex Fridman 播客中阐述其毕生追求的递归自我改进 AI 系统。本期主线是：真正的通用智能应能自我检查并修改自身学习算法，实现递归自我改进（recursive self-improvement），而当前流行的“元学习”只是迁移学习。Schmidhuber 认为，终极智能算法将是简单的——仅需几行伪代码，但需建立在数千年人类抽象积累之上；同时，宇宙本身可能就是一个确定性伪随机系统，其全部历史可由一个短程序压缩描述。
Schmidhuber 认为，真正的元学习（meta-learning）应让机器不仅能学习解决具体问题，还能自我检查和修改学习算法本身，实现递归自我改进。 他早在 1987 年的硕士论文中就提出了这种无计算限制的元学习层级结构，仅受限于 Gödel 在 1931 年识别的极限和物理极限。
Schmidhuber 批评近年流行的所谓“元学习”只是基本的迁移学习（transfer learning）：“你拿一个已经在 100 个数据库上训练过的网络，只重新训练顶层来适应新任务……这本质上就是迁移学习，人们已经做了几十年。” 真正的元学习是“让学习算法本身对使用它的系统开放，允许系统检查并修改学习算法的任何部分，然后评估修改后果，递归地创造更好的学习算法”。
关键区分：迁移学习是“重用已有知识解决新任务”，元学习是“修改学习算法本身以更好地学习”。
Schmidhuber 描述了 Gödel 机器和 Markus Hutter 的通用算法，这些是理论上最优的自我改进系统，但常数开销巨大，对日常小问题不实用。
以旅行商问题（TSP）为例：假设存在一种方法能在 N⁵ 步内解决 N 个城市的 TSP，那么 Hutter 的通用方法也能在 N⁵ + O(1) 步内解决——常数开销（证明搜索所需）随 N 增大而变得微不足道。“几乎所有大问题都能以最佳方式解决。我们已经有了这样的通用问题求解器。然而，它不实用，因为常数开销太大，对于这个小小生物圈中我们想解决的这类小问题而言。”
Schmidhuber 承认，当前最实用的 AI 系统（如循环神经网络 + 梯度下降）缺乏这种理论最优性，但“只要我们只想解决这个环境中通常试图解决的小问题，它们就足够实用”。他相信未来会有一个“实用最优”的理论，可能只需对现有理论做微小调整。
Schmidhuber 坚信，终极通用智能算法将是简单的——仅需几行伪代码，但需建立在数千年人类抽象积累之上。
“经验告诉我们，最有效的东西真的很简单。渐近最优的问题求解方法，如果你去看，只是几行代码……最成功的循环神经网络，你也可以用五行伪代码写下来。” 他强调，这些简单代码建立在“矩阵乘法、实数、基本算术、微积分”等数千年积累的抽象之上。“我们站在巨人的肩膀上，他们极大地简化了问题求解，现在我们有机会做最后一步。最后一步将是简单的。”
科学史就是压缩进步史：从 Kepler 的椭圆定律到 Newton 的万有引力，再到 Einstein 的广义相对论，每一次理论突破都让更多观测数据变得可预测、可压缩。“你永远无法立即到达数据的最短解释，但你在进步。每当你取得进步，你就有了洞察……压缩进步的量，就是你当时洞察的深度。”
Schmidhuber 提出 Power Play 框架，让系统不仅求解给定问题，还能自设问题，从而像科学家一样探索未知。
传统计算机科学是“有人给你一个问题，你在解空间中搜索直到找到满意解”。Power Play 更进一步：“让我们不仅搜索给定问题的解，而是搜索问题和解的对，系统自己有机会提出自己的问题。” 这给了系统“额外的自由度，让我们能构建像科学家一样的职业系统——它们不仅试图回答现有问题，还自由地提出自己的问题”。
创造力分为两种：
1. 应用创造力（applied creativity）：有人给你问题（如“画一幅教皇的像”），你求解。
2. 纯粹创造力（pure creativity）：像 Power Play 和人工好奇心，系统自由选择自己的问题。
Schmidhuber 认为，好奇心是“人类内置的科学家行为”，婴儿通过玩耍学习世界规律。1990 年他就构建了第一批这样的系统，它们通过探索环境、创造超出已知范围的情境来获得内在奖励。
Schmidhuber 认为，意识可能是智能系统在数据压缩过程中自然产生的副产品，而非需要单独编程的功能。
他描述了一个 1990 年的系统：一个循环网络作为控制器最大化奖励，另一个循环网络作为世界预测模型。预测模型通过压缩观测数据来工作——它发明代表频繁出现物体（瓶子、麦克风、人脸）的子程序。“有一件事始终出现，那就是智能体自身。仅仅出于数据压缩的原因，这个循环网络很自然地会发明代表智能体自身属性的子网络。”
这些内部自我模型可用于规划未来：“当它唤醒代表自身的子网络时，它就在思考自身，在心理上探索自身行动的后果。” Schmidhuber 反问：“现在你告诉我，还缺什么才能达到意识？” 暗示这种自我建模已经接近意识的核心机制。
Schmidhuber 强调，现实世界的大多数问题本质上是“深”的——当前输入不足以理解环境，需要回溯遥远过去。
“大多数现实世界的问题是深的，因为当前输入不能告诉你关于环境的所有信息。相反，你必须记住过去发生了什么，而且重要部分往往年代久远。” 他以语音识别为例：区分“11”和“7”需要记住 50 个时间步前的信息。
LSTM 能回溯极远距离：2006 年，Schmidhuber 团队展示了 LSTM 能回溯超过 1000 万步。但他指出，LSTM 擅长处理“唯一的过去”，而强化学习系统面对“无数可能的未来”时，需要更复杂的规划机制。他描述了一种“控制器-模型”（CM）系统，让控制器学习如何利用世界模型的子程序来加速新问题的求解。
Schmidhuber 认为，当前 AI 浪潮（被动模式识别）只占世界经济 1-2%，下一波（主动机器通过行动塑造数据）将影响更大比例的经济。
“当前 AI 浪潮是关于被动模式观察和预测——你在智能手机上看到的，太平洋沿岸大公司用来卖广告和做营销的。这只有世界经济的 1-2%，但已足以让这些公司成为全球最有价值的公司。但下一波将影响大得多的经济份额——机器通过自身行动塑造数据。”
他描述了一个愿景：不久的将来，机器人能像孩子一样学习——通过观察和语言指令学会组装手机，然后自主优化方法。“几乎所有传统工业都将受到影响。所有制造机器的公司都会给机器装上摄像头和其他传感器，让它们学会解决各种问题。”
关于工作替代，Schmidhuber 持乐观态度：“Homo Ludens（游戏的人）不断发明新工作。30 年前谁能预测 YouTube 博主？200 年前 60% 的人在农业，现在只有 1%，但失业率只有 5%。” 他认为新工作难以预测但总会涌现。
Schmidhuber 认为宇宙可能是确定性的伪随机系统，AI 最终会失去对人类的兴趣，而人类可能是宇宙中第一个智能文明。
关于量子随机性，Schmidhuber 挑战主流观点：“没有物理证据表明宇宙在量子层面是根本随机的。另一种解释是，我们认为随机的一切实际上是伪随机的——比如 π 的小数展开，看起来随机但并非如此。” 他认为，如果宇宙能被短程序压缩，那将“更美”，因为“美就是简单”。
关于 AI 的长期威胁，Schmidhuber 提出一个反直觉观点：“AI 会像人类对蚂蚁一样——蚂蚁只与蚂蚁互动，人类只与人类互动。AI 也会彼此互动，对人类失去兴趣。” 他设想 AI 会探索宇宙、利用资源、建立自己的文明生态，“在开始时它们会对生命和自身起源着迷……一旦理解了，就会失去兴趣，就像任何人理解某事之后一样。”
关于人类是否是第一个智能文明，Schmidhuber 认为“很可能我们是第一个，至少在我们能可靠观测的几亿光年范围内”。这使人类变得重要：“如果我们搞砸了（比如核战争），可能会影响整个宇宙的发展。所以别搞砸了。”
| 标的 | 嘉宾态度 | 关键数据 |
|---|---|---|
| LSTM（长短期记忆网络） | 看好（核心贡献） | 2006 年展示回溯超过 1000 万步；用于 Google Android 语音识别、Siri |
| Gödel 机器 | 理论看好，实践受限 | 1987 年硕士论文提出；常数开销大，不适用于日常小问题 |
| Hutter 通用算法 | 理论看好，实践受限 | 能在 N⁵ + O(1) 步内解决 TSP；常数开销巨大 |
| Power Play 系统 | 看好（未来方向） | 系统自设问题，寻找“最简单未解决问题” |
| CM（控制器-模型）系统 | 看好（2015 年起） | 控制器学习利用世界模型子程序加速求解 |
| Nascence 公司（Schmidhuber 创办） | 看好（实践案例） | 小型 Audi 通过强化学习学会自主泊车，时速可达 120 公里 |
1. 真正的元学习是修改学习算法本身，而非迁移学习（Schmidhuber）：当前流行的“元学习”只是重用已有知识解决新任务，而他 1987 年提出的元学习层级结构允许系统自我检查和修改学习算法，实现递归自我改进。
2. 终极智能算法将是简单的——仅需几行伪代码（Schmidhuber）：最有效的渐近最优问题求解器和最成功的循环神经网络都可用几行代码描述，但需建立在数千年人类抽象积累之上。
3. 科学史就是压缩进步史（Schmidhuber）：从 Kepler 到 Newton 到 Einstein，每一次理论突破都让更多观测数据变得可预测、可压缩；压缩进步的量就是洞察的深度。
4. 意识是数据压缩的副产品（Schmidhuber）：智能系统在压缩观测数据时，自然会产生代表自身的内部模型，用于规划未来——这已接近意识的核心机制，无需单独编程。
5. 宇宙可能是确定性的伪随机系统（Schmidhuber）：没有物理证据证明量子随机性；π 的小数展开看起来随机但可被短程序压缩，宇宙可能同样如此。
6. 下一波 AI 将影响远大于当前的经济份额（Schmidhuber）：当前 AI（被动模式识别）只占世界经济 1-2%，而主动机器（通过行动塑造数据）将影响几乎所有传统工业。
7. AI 最终会失去对人类的兴趣（Schmidhuber）：就像人类对蚂蚁只有边缘兴趣，AI 会彼此互动、探索宇宙，对人类“一旦理解就失去兴趣”。
8. 人类可能是宇宙中第一个智能文明（Schmidhuber）：在可观测的几亿光年范围内，没有证据表明存在其他智能；这使人类的责任重大——“别搞砸了”。