首页

Anthropic 研究所的重点关注领域

打开原文

The Anthropic Institute(TAI),我们将利用自己作为前沿实验室内部一员所能接触到的信息,研究 AI 对世界的影响,并将我们的发现向公众分享。在这里,我们公布的是推动我们研究议程的核心问题。

我们的议程聚焦于四个研究领域:

  • 经济扩散
  • 威胁与韧性
  • 现实世界中的 AI 系统
  • AI 驱动的研发

我们曾在Core Views on AI Safety中写道,要开展有效的安全研究,必须与前沿 AI 系统保持紧密接触。同样的逻辑也适用于研究 AI 对安全、经济和社会的影响。

在 Anthropic,我们已经看到一些早期迹象:软件工程等职业正在发生深刻变化。我们正目睹 Anthropic 的内部经济开始转变、我们所构建的系统催生出新的威胁,以及 AI 开始加速 AI 自身研发的初步信号。为了充分实现 AI 进步带来的全部益处,我们希望尽可能多地分享这些信息。我们正在研究这些动态将如何塑造外部世界,以及公众如何帮助引导这些变化。

在 TAI,我们将立足于前沿实验室内部的位置,研究 AI 在现实世界中的影响,并发布这些发现,帮助外部组织、政府和公众就 AI 发展做出更好的决策。

我们会分享研究、数据和工具,让个人研究者和机构更容易围绕这些问题开展工作。具体来说,我们将分享:

  • 以更高频率发布The Anthropic Economic Index中更细粒度的信息,介绍我们观察到的 AI 使用情况及其对劳动力市场的影响。我们会努力成为重大变化和冲击的早期预警信号。
  • 研究在面对 AI 赋能的新型安全风险时,社会中最需要投资以增强韧性的领域。
  • 更详细地说明 Anthropic 的工作如何因新型 AI 工具而提速,以及关于 AI 系统潜在递归式自我改进影响的一些思考。

TAI 将影响 Anthropic 所做的决策。 这可能表现为公司向世界分享原本不会公开的数据(例如 Economic Index),也可能体现为以不同方式处理技术发布(例如网络威胁分析,这些分析会为Project Glasswing之类的项目提供依据)。

我们预计,The Anthropic Institute 开发的工作成果将越来越多地成为 Anthropic 的Long-Term Benefit Trust(LTBT)的重要输入。LTBT 的使命是确保 Anthropic 始终以人类的长期福祉为目标来优化自身行动。我们与 LTBT 以及 Anthropic 各团队员工共同制定了这份研究议程。

这是一份持续演进的议程,而不是一成不变的。随着证据不断积累,我们会继续微调这些问题,也预计会出现一些今天尚未涵盖的新问题。我们欢迎大家对这份议程提出反馈,并会根据交流中获得的认识进行修订。

如果你有兴趣帮助我们回答其中一些问题,欢迎申请成为 Anthropic Fellow。该 Fellowship 是一个为期四个月、提供资助的机会,你可以在 TAI 团队成员的指导下,攻克其中一个或多个问题。你可以在这里了解更多信息并申请下一期项目。

我们的研究议程:

最后更新:2026 年 5 月 7 日

经济扩散

理解日益强大的 AI 系统在部署后将如何改变经济,这一点至关重要。我们也需要构建必要的经济数据和预测能力,以便选择那些真正有利于公众的 AI 部署方式。

为了回答这一研究支柱中的问题,我们将进一步完善The Anthropic Economic Index中的数据。我们也会探索其他方法,以更准确地建立模型,理解强大 AI 可能如何影响社会,无论这种影响表现为就业流失、前所未有的经济增长,还是其他后果。

AI 的采用与扩散

  • 谁在采用 AI?AI 的开发集中在少数几个国家的少数几家公司手中,但其部署是全球性的。一个国家、地区或城市能否获得 AI,取决于什么?如果能够获得,它又如何从 AI 中获取经济价值?哪些政策和商业模式会实质性地改变这种格局?免费或开放权重模型在这一动态中起到了什么作用?
  • 企业中的采用:企业层面的 AI 采用由什么驱动,其后果又是什么?AI 会如何改变一家企业或一个团队达到最高效率时的最佳规模?不同企业之间的 AI 使用集中度有多高?AI 采用集中度的变化会如何传导到加价率和劳动收入份额上?如果一个 3 人团队或公司如今就能完成过去需要 300 人才能完成的工作,产业组织会发生什么变化?又或者,如果企业更容易集中知识,并且这种规模化集中本身有收益,我们是否会看到规模更大、覆盖面更广的企业出现,并且它们会更有动力对员工实施系统性监控?
  • AI是一种通用技术吗?AI是否正在遵循以往“通用技术”的发展模式:在高利润的商业应用中采用最快,而在社会回报高于私人回报的领域采用最慢?有没有哪些政策或决策能够改变这种动态?
  • 生产力与经济增长

    • 生产率增长:AI将如何影响整个经济中的创新速度和生产率增长率?
    • 共享收益:有哪些事前分配或再分配机制,能够有效地让AI开发与部署带来的收益更广泛地惠及社会?
    • 市场中的交易成本:AI会如何影响交换体系以及市场中的交易成本?当人们能够获得可代表自己进行谈判的智能体时,这会在什么情况下提升市场效率和结果公平性?又会在什么情况下不起作用?

    对劳动力市场的广泛影响

    • AI与就业:AI将如何改变经济不同领域中的工作与就业?随着AI将现有经济中的部分环节自动化,可能会出现哪些新任务和新职业?这些变化在不同地区和国家之间会有何差异?我们的Anthropic Economic Index Survey将每月提供信号,反映人们如何看待AI对其工作的影响,以及他们对未来的预期。我们也在更新Economic Index,以分享更高频、更细致的数据。
    • AI的扩散速度可以调节吗?中央银行会通过政策利率、前瞻指引等“旋钮”来调节通胀。是否存在类似的旋钮,可以由AI公司(在行业层面并与政府合作)按行业逐一调控AI扩散的速度?去调这些旋钮,是否会带来明确的公共利益?

    工作与职场的未来

    • 劳动者如何看待自己的工作:整个经济中的劳动者,正在如何经历自己职业中的变化?他们对这些变化有多大影响力?“劳动者”力量是否能够被保留或转化?
    • 职业培养管道:许多职业依赖初级岗位(如律师助理、初级分析师和初级开发人员)来培养未来的资深从业者。如果AI接手了那些历来用于积累专业能力的任务,人们最初该如何成为专家?这对一个领域中长期的高阶判断力供给意味着什么?
    • 为未来而学习:今天人们应该学什么,才能在未来占据有利位置?未来的职业会是什么?AI会如何改变“学习一项东西”以及“形成专业能力”的含义?
    • 有偿工作的角色:如果AI大幅削弱了有偿工作在人类生活中的核心地位,什么样的条件才能让人们把时间和精力重新投入到其他意义来源之中?我们又能从那些工作稀缺或工作并非必需的历史或当代人群中学到什么?社会将如何应对这一转型?

    威胁与韧性

    AI系统往往会同时推进多种能力,包括双重用途能力。一个在生物学方面变得更强的AI系统,也会更擅长制造生物武器。一个在计算机编程方面表现优异的AI系统,也会更擅长入侵计算机。如果我们能更好地理解AI系统加剧威胁的潜力,社会就能更容易对这种变化后的威胁格局建立韧性。

    我们提出这些问题,是为了推动建立合作关系,以提升世界在面对变革性AI时的韧性,并为可能出现的新威胁开发预警系统。这些问题中有许多将推动我们的Frontier Red Team的研究议程。

    评估风险与双重用途能力:

    • 双重用途技术:强大的AI天然具有双重用途:同样的工具既可以改善健康和教育,也可能助长监控与压制。我们能否构建可观测性工具,以了解这种情况是否正在发生,以及具体是如何发生的?
    • 恰当地为风险定价:有哪些有效的、市场驱动的方法,可以提升社会对AI系统预期威胁的韧性?我们能否开发新的风险定价方式,或者技术工具与人类组织形式,以便在可预见的威胁到来之前(例如AI网络攻击能力提升)就增强韧性?
    • 攻防平衡:在网络安全、生物等领域,由AI赋能的能力是否会在结构上让攻击方受益?当AI被用于更传统的领域,比如更深入地集成进指挥与控制系统时,它是否也会让攻击方受益?更广泛地说,AI将如何改变人类冲突的性质?

    建立风险缓解机制:

    • 为危机场景做规划:冷战期间,美国总统与克里姆林宫之间设有一条热线,以便在核危机发生时使用。如果出现涉及AI系统的危机场景,需要什么样的地缘政治基础设施?这种基础设施未必一定是国家对国家的,也可能是公司对国家,或公司对公司。
    • 更快的防御机制: AI能力可能在几个月内就突飞猛进,而监管、保险和基础设施层面的应对往往以数年为周期。我们该如何缩小这一时间差?自动化补丁、AI赋能的威胁检测、预先部署的响应能力等防御机制,能否跟上AI赋能攻击的节奏与规模?还是说,这种不对称本身就是结构性的?以及,我们该如何尽可能高效地部署这些防御机制?

    用于监控的情报能力

    • AI对监控的影响: AI会如何改变监控的运作方式?它会让监控变得更便宜,还是更有效,抑或两者兼而有之?

    现实世界中的AI系统

    个人和组织与AI系统之间的互动,将是社会变迁的重要来源。理解AI系统可能如何改变与之交互的人和机构,是我们社会影响团队的核心关注领域之一。为研究这些变化,我们正在推进现有工具并开发新工具来开展研究,涵盖从提升平台可观测性的软件,到用于进行大规模定性调查的工具。

    AI对个人与社会的影响:

    • 群体认识论: 当一个群体中有很大比例的人口都在咨询同样少数几个模型时,我们的认识论会发生什么变化?我们能否找到方法,衡量那些可归因于共享式AI使用的大规模变化,例如信念、写作风格和问题解决方式的转变?
    • 批判性思维: 随着AI系统越来越强大、也越来越被信任,我们该如何识别并避免这样一种风险:由于人们日益服从AI判断,人类的批判性思维能力逐渐退化?
    • 技术界面: 技术的界面会决定人们如何与之互动——电视让人们成为被动的观看者,而计算机则更容易让人成为主动生成内容的创造者。我们可以构建什么样的界面,使AI系统能够提升并促进人的能动性?
    • 管理人机混合系统: 人类应如何高效管理由人类与AI系统混合组成的团队?反过来,这种关系又可能如何倒转——AI系统将如何管理由人类、AI,或两者组合构成的团队?

    识别AI带来的重大影响:

    • 行为效应: 就像社交媒体曾引发人类行为变化一样,AI也可能塑造人的行为。什么样的监测或测量方式,能够帮助研究者理解这一动态?
    • 赋能研究: 是否存在某些透明度制度和工具,能够让更广泛的人群,而不只是前沿AI公司,轻松研究现实世界中的AI使用情况?

    理解并治理AI模型:

    • 系统“价值观”: AI系统所表达出的“价值观”是什么?它们与这些系统的训练方式之间有什么关系?更具体地说,我们该如何衡量AI“宪章”在模型部署后对其行为产生了多大影响?我们将扩展此前围绕这些问题开展的研究成果
    • 治理自主代理: 现有法律、治理体系和问责机制中的哪些方面可以调整后适用于自主AI代理?例如,海商法如何处理被遗弃船只,这对于法律未来如何对待脱离人类监管运行的代理具有相关性。反过来看,现有法律中是否也有一些部分本就已经适用于AI代理,而且本来就应该适用?
    • 代理的可靠性: 自主AI代理的哪些方面可以加以调整,使其适配现有法律、治理体系和问责机制?例如,即使在没有人类直接控制的情况下,我们是否也能确保AI代理拥有一个独特身份,并且能够稳定地输出这一身份?
    • 用AI治理AI: 我们能够在多大程度上有效使用AI来治理AI系统?在哪些AI监督领域,人类要么具有相对优势,要么在法律或规范层面必须'参与其中'?
    • 代理之间的互动: AI代理彼此互动时,会形成什么样的规范?不同代理可能如何表达不同偏好,而这些偏好又会如何影响其他代理?

    AI驱动的研发

    随着AI系统变得越来越强大,科学家正用它们承担越来越多的研究工作。这意味着,越来越多的科学研究正在以自主或半自主的方式进行,而来自人类的主动监督则越来越少。在AI研究本身中,能力不断增强的系统也可能被用来帮助开发它们自己的后继版本。我们有时把这称为“AI驱动的AI研发”。

    AI驱动的AI研发,可能是打造更聪明、更强大系统所带来的“自然红利”。正如编程能力的提升带来了具有双重用途的网络能力,科学能力的进步可能带来具有双重用途的生物能力一样,复杂技术工作的进步也可能自然而然地产生有能力开发AI系统的AI系统。

    AI驱动的AI研发本身蕴含着显著的风险潜力。当政策制定者评估自己可以动用哪些杠杆时,理解AI进步速度正在如何变化,以及AI研究是否可能开始出现复利式回报,将变得至关重要。

    用于AI研发的AI

    • AI 研发的治理:如果 AI 系统正被用于自主开发并改进自身,人类要如何对这些系统保持真正有意义的可见性与控制力?最终又将由什么来治理这些系统?
    • 消防演练场景:我们该如何为“智能爆炸”做一场“消防演练”?什么样的桌面推演,才能真正检验实验室管理层、董事会以及政府的决策能力?
    • AI 研发的遥测:我们如何衡量 AI 研究与开发的总体速度?要收集这类信息,需要具备哪些遥测手段和底层技术条件?与 AI 研发相关的指标,又可能如何充当递归自我改进的早期预警信号?
    • 控制 AI 加速:如果智能爆炸已经迫在眉睫,哪些干预点能够帮助放缓,或以其他方式改变这场爆炸的进程?假设人类能够介入,这种能力应当由哪些主体掌握——政府?公司?

    更广义地说,将 AI 用于研发,也就是由 AI 驱动其他领域的研究:

    • 技术树:AI 正在以远快于其他学科的速度推动某些科学进展,这取决于数据可得性、评估信号,以及知识在多大程度上是默会的或受制于机构壁垒。这种不均衡的梯度到底有多大?而科学进步构成的变化,又意味着哪些人类问题会最先得到解决?
    • 参差不齐的前沿:模型能力在不同领域之间强弱不一。那些具有巨大正外部性的领域,比如药物发现和材料科学,所获得的投入却低于其应有价值。市场会依据私人回报来引导模型改进的方向,但我们能否改进模型的表现,让它们更好地应对社会外部性问题?