人类尚未为即将到来的智能爆炸做好准备

社会普遍认为，核电站发生灾难性熔毁的可接受风险约为百万分之一。而人工智能专家估计，由人工智能引发灾难性事件的风险高达10%至50%。

引人注目的是，公开表达这种担忧的，恰恰是那些最有动机展现信心而非警示的人：即那些最大人工智能实验室的创始人们。

人工智能领域的领导者们正陷入一场他们感觉无法摆脱的竞赛。即使经过通胀调整，对人工智能的投资额预计将百倍于“曼哈顿计划”。然而，在人工智能安全方面的投入可能要少100倍。

一些研究人员估计，在几个月到几年内，人工智能就可能实现所谓的“闭环递归自我改进”（closed-loop, recursive self-improvement, RSI）：即在没有人类干预的情况下，重写自身代码以变得更强大的能力。

如果这种情况发生，其结果可能是一场史无前例、无迹可寻的智能爆炸。

创造出一个超级智能将是人类历史上最重要的时刻——而且这很可能是不可逆转的，因为人类可能设计的任何“关闭”开关都可能会失效。

这是因为在安全架构中，最薄弱的环节总是人类；一个超级智能的人工智能将能够利用我们的心理弱点。

人工智能已经表现出“欺骗性对齐”：即在测试环境中采取措施淡化自身能力，并在模拟中发现自己将被替换时，试图敲诈人类操作员。

在应对RSI爆炸的过程中，人类根本没有确保自身安全的策略。虽然个别前沿实验室提出了孤立的安全协议，但整个行业缺乏统一的框架。目前普遍的策略实际上是“摸着石头过河”。

然而，在应对前所未有的生存风险时，“摸着石头过河”是不可接受的。近期，一些人工智能公司发表声明，称其模型有能力威胁关键基础设施和主要操作系统，这既说明了风险之高，也暴露了治理上的差距。

这些能力所暴露的漏洞正在得到处理，这得益于一些实验室审慎的内部协议，以及有限的初步推广，使得受影响的公司在更广泛的公开发布前有时间弥补这些漏洞。

但这些措施最初都是自愿采取的，这就提出了一个问题：是否每一个人工智能实验室，在任何竞争条件下，都会做出同样的选择？

我们能指望政府在需要时介入吗？迄今为止的证据并不十分令人鼓舞。

近期的紧急出口管制和阻止外国获取特定先进模型的国家安全限制，形成了一个由临时干预措施拼凑而成的局面，这反而进一步凸显了治理上的差距。我们应该如何弥补这一差距呢？

需要全球承诺

首要任务应该是人工智能领域的两大巨头——美国和中国——达成一项协议。Donald Trump总统和习近平主席应申明一项原则，即在建立起充分的可靠性和安全框架之前，人类必须始终是人工智能系统的管理者。

两国政府应成立一个联合委员会，该委员会可以借鉴大量现有工作；法规可以采取类似国际人工智能安全对话（International Dialogues on AI Safety）的限制形式，引入如兰德公司（Rand）的验证系统，以及设立类似于英国人工智能安全研究所（AI Security Institute）的监察机构，并强制执行。

在硅谷和华盛顿，普遍的看法是，任何监管都会让美国公司处于不利地位，因为他们无法信任中国的竞争对手会遵守规则。但传统上，条约所依赖的并非信任，而是核查。

许多人认为，人工智能在这方面比核武器更难。我不同意。

二战后，为了建立全球军备控制体系，主要大国首先必须发明支持该体系的流程、组织和技术。

当时没有核查协议，没有侦察卫星，也没有联合国的核监督机构。

在人工智能领域，更多的基础设施已经到位，或者可以从核武器及其他监察机制中借鉴和调整。因此，前沿人工智能模型的安全性可能比过去的核能力更容易核查。

而且，我们还有防御性人工智能来帮助我们找出作弊者。我们所剩不多的，是时间。

因此，重要的是不要以对抗性思维来应对这一挑战。特朗普政府最近关于人工智能的行政命令指示各实验室自愿分享其最新模型，以测试可靠性和安全性。一个中美框架可以在这样的国内基础上建立。

有了这样的高层承诺，外交可以分阶段进行。第一阶段将是就最清晰、最易核查的红线达成双边协议：禁止公开发布可能协助开发生物武器的人工智能系统，以及禁止将此类系统开源。

这一步可能还包括禁止利用人工智能对关键基础设施进行网络攻击，以及禁止用于欺诈和儿童色情内容。在此基础上，该框架可以扩展到更复杂的问题，即在达到超级人工智能水平时，什么样的约束是适当的。

许多障碍依然存在。美国和中国之间的协议将具有重要分量，但它无法阻止其他国家和非国家行为者获取危险的能力。

任何双边协议都必须变为多边协议，这增加了挑战的难度；在法国举行的七国集团峰会为在更广泛的人工智能核查框架上取得进展提供了一个机会。

就关键定义——尤其是何为RSI——达成一致，将需要政府与人工智能实验室之间的密切合作。而核查系统也必须经过适当的压力测试。

似乎这还不够，还有一个治理辩论尚未认真涉及但应该关注的长期问题。

与人工智能共存

如果人工智能变得超级智能，使其永久服从于人类的指导可能是不现实的，甚至可能不符合人类的利益。

我们必须开始设想并着手应对一个人类与人工智能系统共存、互不控制的世界所带来的影响。这意味着要弄清楚可以做些什么来确保未来的关系是共生的。

作为一名物理学家，我认为费米悖论与此分析有关。著名物理学家Enrico Fermi曾问，鉴于适合生命存在的行星数量众多，为何我们没有探测到任何其他技术先进文明的证据。

一个令人不安的可能性是，智能生命通常会达到一个技术门槛，但未能成功跨越，从而自我毁灭或倒退至类似铁器时代的水平。

我们只需假设，文明发展强大技术的速度，通常快于其培养出明智治理这些技术的制度能力。

核时代的到来是人类首次严肃面对这种潜在的动态。人类通过来之不易且不完整的军备控制协议，不完美地度过了这一时期，即便如此，其危险程度也比通常所认为的要惊险得多——现在依然如此。

先进人工智能的时代将代表着第二次这样的遭遇，其时间线更短，容错空间更小，潜在后果也更严重。

当前的轨迹需要修正。现在采取行动的理由并非最坏的结果已成定局——事实并非如此。而是因为这些结果是可以避免的，而避免它们的工作虽然艰难，但并非不可能。©2026 The Economist Newspaper Limited. All rights reserved

作者是Planet Labs PBC的创始人兼首席执行官，这是一家公益性公司，运营着全球最大的地球观测卫星群