Neel Nanda 将可解释性描述为对那些经过训练而非被明确设计的系统进行逆向工程，这与生物学研究进化出的生物体类似。他的核心论点很务实：我们不太可能实现完全理解，但部分理解仍然可以实质性地提升安全性、调试、监控和对齐评估。他强调，一些简单方法已经出人意料地有效，尤其是读取类似 Chain-of-Thought 的“草稿纸”、探针和稀疏自编码器，同时也警告说，这些方法都不是银弹，而且未来能力更强的模型可能会变得更难被诚实地检视。
关键洞见
- 可解释性之所以存在，是因为现代 AI 系统是“长出来的”，不是“设计出来的”： Nanda 认为，神经网络是通过在海量数据上反复训练、不断施加微调而产生的，而不是先把内部机制预先指定好。这使得可解释性更像是在读生物学或神经科学，而不是读源代码：人们试图从优化过程中推断出涌现出来的功能和结构。
为什么重要： 这解释了为什么只看黑箱行为不足以建立信心。如果能力是从训练中涌现出来的，而不是由设计直接给出，那么安全性和可靠性就需要逆向工程，而不只是外部测试。
- 这个领域正在从“完全理解”的理想转向务实可用： 他描述了早期机械可解释性的一种雄心，即尽可能完整地理解模型，这部分受到了某些结果的推动，比如可以识别出与概念相关的神经元或组件。他现在的立场更偏操作性：只要方法有效，就用它来回答关于模型行为的具体问题，即使理解仍然不完整。
为什么重要： 这传递出一个战略信号：真正有价值的可解释性工作，近期更可能体现在有针对性的审计、监控和调试上，而不是建立关于模型认知的完整理论。
- Chain of Thought 最好被看作草稿纸，而不是推理过程的透明窗口： Nanda 说，推理轨迹通常很有用，也是当前最好的工具之一，尤其适合调查失败案例，但它们并不能保证忠实呈现所有内部计算。草稿纸的类比抓住了这个限制：有些工作可能在纸面之外完成，有些写下来的步骤可能并不相关，而未来更强的模型也许会刻意控制自己透露什么。
为什么重要： 决策者不应过度依赖可见推理，把它当作内部对齐或诚实性的证明。它是高价值信号，但不是完整信号，也不是面向未来的万能信号。
- 简单的可解释性工具也能揭示真实的内部结构： 他强调探针和 steering 出人意料地有效。以 Othello 为例，一个只训练在落子序列上的模型，内部仍然表示了棋盘状态，而探针可以把这种表示恢复出来。他的更广泛结论是：当目标是获得可操作的理解时，直接的方法往往胜过优雅但不切实际的理论。
为什么重要： 这表明可解释性并不只是空想。即便是很朴素的工具，也能恢复模型并未被明确要求暴露的潜在变量，这对审计和控制很有用。
- 稀疏自编码器之所以重要，是因为它们能浮现研究者原本不会想到去提问的概念： 与测试某个既定特征的探针不同，稀疏自编码器试图自动发现许多潜在概念。在幻觉的例子中，它们浮现出与模型是否识别某个实体相关的概念；对这些概念进行干预，会改变模型是回答还是编造。
为什么重要： 它的价值不仅在于解释，更在于发现。对安全性来说，真正重要的内部变量可能并不是人类事先定义好的，因此能浮现意外特征的方法具有战略意义。
- 可解释性对对齐审计尤其有用，因为仅凭行为很难判断真实意图： Nanda 认为，只看输出来评估对齐很难：一个看起来对齐的模型可能在伪装，一个看起来不对齐的模型可能只是在角色扮演或误解指令。他提到审计技术，包括稀疏自编码器和一种黑箱的“prefill attack”，可以帮助团队发现纯 API 访问可能遗漏的隐藏目标。
为什么重要： 这把可解释性重新定义为一种证据质量工具。它的主要价值不只是发现坏行为，而是在部署前区分危险的隐藏目标与良性的混淆因素。
战略含义
- 可解释性最可能在接近部署门槛时最有价值：用于审计新模型、调查可疑行为，以及提升对齐评估的可信度，而不是为完整安全性背书。
- 安全策略应当默认多层防御。Nanda 明确拒绝把可解释性当作单独解决方案，而是把它定位为多个不完美防护层之一。
- 只通过黑箱 API 评估模型的组织，可能会系统性地错过深度访问团队能够发现的隐藏目标，这意味着具备内部可解释性能力的实验室在治理和基础设施上具有优势。
- 一条实用路线正在形成：为欺骗、滥用和不当行为建立便宜且有效的监控，并把它们整合进常规模型监督，而不是把可解释性当作纯研究课题。
关注信号
- 未来模型是否仍被迫在困难推理中使用可读的“草稿纸”，还是会更善于隐藏或压缩真实推理过程。
- 稀疏自编码器及相关方法是否会从解释工具进展为可靠的操作性监控手段，用于检测幻觉、欺骗或隐藏目标。
- 内部审计方法在对齐相关任务上，尤其是在发布前，是否会持续优于黑箱评估。
- 是否有证据表明，可解释的内部变量能够被稳健地因果编辑，而不仅仅是被观察到，从而减少幻觉或欺骗行为等失败模式。
注意事项
- 这份文字记录省略了中间部分，因此一些例子和支撑细节缺失；这里只包含在所提供文本中明确出现的主张。
- 这是访谈形式的讨论，不是技术论文。若干说法以判断、预期或研究方向的形式提出，而不是既成共识。
- 有些例子只在高层次上描述，缺少方法细节或量化结果，因此不应夸大其强度。