机器人技术的终局：英伟达 Jim Fan

Jim Fan 认为，机器人技术正进入一个类似于现代大语言模型发展的“终局”阶段。他的核心论点是，机器人技术可以遵循同样的大致路线：大规模预训练、狭义动作对齐，以及强化学习。这场演讲聚焦于两个瓶颈——模型策略和数据策略——并声称两者都正在摆脱旧有的机器人范式。在模型方面，他认为机器人技术应当从以语言为重的视觉-语言-动作系统，转向能够联合预测未来世界状态与动作的世界-动作模型。在数据方面，他认为遥操作将只占很小一部分，取而代之的是可扩展的传感化人类数据形式，尤其是带有详细手部/姿态标注的第一视角人类视频。他还将这种类比延伸到后训练：机器人技术需要通过仿真、世界扫描和神经模拟器实现大规模环境扩展。其战略性主张是，机器人进步将越来越由算力和数据驱动，而不是主要围绕机器人专用流程进行手工设计。

关键洞见

1. 机器人技术应复制大语言模型的路线，而不是另起炉灶： Fan 提出了一个“巨大平行”：先在广泛预测任务上进行预训练，再对齐到现实任务中真正重要的狭窄部分，最后利用强化学习获得最终性能提升。在他的表述中，大语言模型是在模拟下一个 token；而机器人则应模拟下一个物理世界状态。

   为什么这很重要： 这是整场演讲的核心战略主张。如果成立，就意味着机器人进步将更少依赖定制化的机器人架构，而更多依赖类似前沿 AI 实验室的规模定律、数据流水线和后训练基础设施。

2. 以语言为重的 VLA 模型在机器人领域属于资源错配： 他认为，所谓的视觉-语言-动作模型实际上是“语言优先”的系统，因为大多数参数都分配给了语言。他的批评是，这类模型在知识和名词层面的泛化上表现良好，但在物理规律和动词层面的能力上较弱。

   为什么这很重要： 这表明模型设计需要转向：机器人系统可能需要围绕动力学和动作进行优化的架构，而不只是给大型语言骨干外挂一个动作头。

3. 视频世界模型可能是正确的预训练载体，因为物理会从预测中涌现： Fan 指出，视频模型通过预测未来像素，能够学到重力、浮力、光照、反射、折射，甚至某些类似规划的行为。他的主张是，预测式视频建模会隐式学会世界动力学，而无需手工编码物理规则。

   为什么这很重要： 如果未来状态预测能够捕捉有用的物理结构，那么机器人预训练就可以在丰富的视频数据上扩展，而不必主要依赖昂贵的机器人数据。

4. 动作微调是从通用世界模型走向真实机器人的桥梁： 他描述了如何将一个广泛的世界模型对齐到与机器人控制相关的那部分未来轨迹子集上。他的 Dreamer 系统会联合解码未来世界状态和未来动作，并报告称，更好的视频预测与更好的动作执行相关，而“幻觉式”的未来预测则与失败相关。

   为什么这很重要： 这为如何将生成式预测转化为控制提供了一个具体机制。其实际含义是，机器人能力可能取决于未来预测质量能否成为策略质量的可靠代理指标。

5. 世界-动作模型被提出为 VLA 式机器人范式的继任者： Fan 将这一新模型家族称为“世界动作模型”（WAM）：在这类系统中，视觉和动作是第一等公民，而不是从属于语言。他将 Dreamer 定位为一个早期实例，支持开放式提示和一定程度的零样本任务执行。

   为什么这很重要： 这是一次具有战略意义的命名和框架重塑。它释放出 Nvidia 可能的投资方向，也说明该领域可能尝试重新将机器人技术锚定在仿真与控制上，而不仅仅是指令跟随。

6. 遥操作被视为在机器人数据采集中根本不可扩展： Fan 表示，过去几年一直由遥操作主导，但他认为这种方式受限于实体机器人的可用数量和操作员时间。他强调，真实吞吐量远低于“每台机器人每天 24 小时”的理论值，因为机器人并不可靠，而且部署流程繁琐。

   为什么这很重要： 这是对当前一种主要数据范式的直接挑战。如果这一判断正确，那么重度依赖遥操作的策略在达到前沿规模机器人模型所需的数据量之前，就可能遭遇硬性天花板。

战略影响

• 如果 Fan 的论点正确，机器人领域的领导者将更像前沿模型/数据/算力组织，而不是传统的硬件优先型机器人公司。
• 一个可能出现的竞争转移是：从以语言为中心的机器人模型，转向直接学习预测和控制物理动力学的系统。
• 数据优势可能不再仅仅来自机器人机队工时，而会转移到对大规模第一视角人类数据集、可穿戴采集系统、标注流水线，以及机器人到人类动作映射的掌控上。
• 重度依赖遥操作的公司可能会面临结构性上限，除非遥操作最终只作为一层很薄的对齐层，叠加在更大规模的人类视频预训练之上。

值得关注的信号

• 世界动作模型风格的系统，是否能在需要物理理解和动词层面能力的操作任务上，显著优于 VLA 风格系统。
• 如 Fan 所声称的那样，未来预测质量是否继续与真实机器人的动作成功率保持紧密相关。
• 是否有证据表明，第一视角人类视频预训练能够在不同具身形态之间广泛迁移，而不仅仅是在少数精选的灵巧操作演示中有效。
• 有关所宣称灵巧性规模定律的独立复现，以及它是否在更大得多的数据规模上依然成立。

注意事项

• 这份转录内容是一场带有强烈修辞和幽默风格的主题演讲，而不是一篇中立的技术论文。部分观点在转录本身中更偏方向性或宣传性，而非经过严格论证。
• 演讲中提到了一些具体系统和结果名称，但转录并未提供完整的基准细节、对照基线、误差条或失败案例分析。
• 演讲使用了生成视频和内部演示中的例子；仅凭转录内容本身，尚不足以证明这些行为具有多强的泛化鲁棒性。