姚顺雨：让我疯一点！在 Anthropic 与 Gemini 训练模型，英雄主义已终结

姚顺宇将前沿模型的发展描述为：它已经从一个实验室担心自己是否能够达到顶尖能力的阶段，转变为一个顶尖实验室在基准测试表现上彼此更加接近、而更困难的问题变成决定要构建什么、如何定义期望行为以及优先发展哪些能力的阶段。他认为，Anthropic、OpenAI 和 Gemini 之间的差异在实际使用中仍然重要，但在公开基准测试中已不那么明显。他还认为，当前 AI 行业中的成功，与其说来自个人的天才，不如说更多来自严谨的执行、基础设施、数据工作、对产品方向的判断以及可靠的团队。文稿中还体现了他对精确性的强烈偏好，胜过模糊的理论化表达；他对服从资历权威持怀疑态度；并且他认为，早期 AI 进展中比当前阶段有更清晰的“英雄式”人物。

关键洞见

1. 前沿模型竞争已经从能力追赶转向问题定义： 姚表示，大约一年前，各实验室还在担心自己是否能在原始模型能力上赶上对手，尤其是在推理方面。现在，在 Gemini、OpenAI 和 Anthropic 之间，他不认为其中任何一家主要担心自己追赶不上。更难的问题是，如何使用这些模型，以及如何把真正的问题定义清楚。

   为何重要： 如果这是真的，那么优势正在从明显的原始模型差距，转向更清晰的产品下注、更好的任务定义，以及更好地将能力转化为用户价值。

2. 公开基准测试差距正在收敛，而且其中可能噪声多于信号： 他说，在 SWE-bench 和数学评测等基准上，领先模型如今看起来非常接近，差异可能只有一到两个百分点，而且往往更多是噪声而非有意义的信号。他将此与更早时期作对比：那时基准分数更容易体现能力差异。

   为何重要： 决策者应谨慎，不要过度解读排行榜上的微小差距。公开基准测试中的小幅领先，可能已不再能可靠预测用户感知到的优越性或持久的战略优势。

3. 现实世界中的模型差异依然存在，但越来越取决于产品和具体用例： 尽管基准分数趋于接近，姚表示用户仍然能感受到有意义的差异。在他看来，Claude 作为通用工具使用型代理仍然尤其强；Codex 最近在纯编程方面缩小了差距；Gemini 在纯推理和某些日常场景中可能更强，但在编程和代理方面仍在追赶。

   为何重要： 模型选择应与工作流和任务特征绑定，而不应只看基准测试品牌。竞争格局可能会按模态、代理行为和产品集成方式分化，而不是由一个通用领导者统治。

4. 优先级排序和基础设施投入塑造了早期的模型差异： 他说，早期差异在很大程度上是由各实验室选择优先发展什么所驱动的。例如，重视工具使用或推理，会促使公司在基础设施，尤其是数据上投入更多精力。他强调，构建合适的数据需要大量时间和努力。

   为何重要： 能力不仅仅是抽象研究质量的函数；它们也是长期组织聚焦、数据管道和支持系统所形成的路径依赖结果。

5. 随着模型越来越接近，不清晰的任务定义将越来越决定结果： 姚认为，当模型在数字上相似时，更困难的问题是定义自己想要的行为。他说，一些重要的模型差异，可能来自团队事先并未预料到、而只能在事后理解的因素。

   为何重要： 瓶颈可能正从训练一个更强的基础模型，转向为复杂的真实任务指定、评估和塑造行为。这将有利于拥有更好迭代循环和更清晰成功定义的组织。

6. 一些强大的模型行为可能来自偶然的数据优势，而不是被完全理解的设计洞见： 作为一个关于非直觉性原因的例子，他说，多年前模型之所以可能异常擅长代码，部分原因在于开放网络上的代码（例如 GitHub）天然比许多其他网络来源质量更高，甚至在当时人们还没有完全理解为何强大的编程性能会出现。

   为何重要： 可观察到的能力可能源于团队起初并不理解的数据构成效应。这意味着，数据来源和质量可能会以令人意外的方式，与头条式的架构创新同样重要。

战略影响

• 如果前沿实验室在许多公开指标上已接近同等水平，那么下游差异化很可能将来自产品包装、任务框定、代理可靠性、工具集成以及后训练行为塑造，而不只是原始基准测试上的统治力。
• 评估模型供应商的组织应进行针对具体工作流的测试，而不是过度依赖公开基准测试表，尤其是在分数差距很小时。
• 数据和基础设施仍然是战略护城河。即使架构和头条方法逐渐扩散，持续的优先级投入仍然能随着时间推移创造出有意义的能力不对称。
• AI 研究的工业化，可能会提高运营卓越性、研究严谨性和可靠执行力的价值，相对于仅凭富有魅力的愿景而言更是如此。

值得关注的信号

• 公开基准测试的领先者是否会继续轮换，而用户偏好却保持稳定；如果是这样，将支持这样一种说法：基准测试作为决策工具正接近饱和。
• 模型供应商将在多大程度上通过代理/工具使用、编程工作流质量以及日常产品体验来实现差异化，而不是通过单一数字上的基准测试胜利来区分自己。
• 大型实验室是否越来越多地先推出经过打磨的版本，而这些能力最初是以较粗糙的外部或开源演示形式出现的。
• 围绕数据整理、代理行为基础设施以及长期任务评估的投资模式。

注意事项

• 文稿似乎并不完整，并且包含由 AI 生成的字幕，其中可能存在错误、遗漏和转录不准确的问题。
• 一些术语和产品名称不清楚，或可能被错误转录，包括诸如 'OpenClaw' 的提法，以及关于 Claude/Opus/Codex 讨论中的部分内容。
• 若干强烈主张是发言者的个人判断，而非经过独立验证的事实，尤其是对各实验室和模型的比较性评价。