为何人类难以对人工智能拥有最终决定权

在部署强大的人工智能 (AI) 系统的环境中，风险越高，我们似乎就越倾向于一种直观的解决方案：即人类应始终是最终决策者。

在战争背景下，公众和监管层面的辩论（以及 Anthropic 与美国政府近期争端的一个根源）一直聚焦于全自主武器与受“人类控制”武器之间看似二元对立的区别。

在企业界也是如此，半自主代理的部署已促使公司转向由经验丰富的人类担任最终决策者。例如，据报道，Amazon 表示，初级和中级软件工程师需要更资深的工程师来批准经由人工智能辅助的变更。

但这种解决方案是否必然会带来两全其美的结果，即机器提升速度、准确性和生产力，而人类则提供专业知识、背景信息、判断力和问责制？

好消息是，我们思考如何将机器与人类最好地结合起来已经有很长一段时间了。早在 1951 年，一位名叫 Paul Fitts 的心理学家就制定了一份清单，列出了“人类最擅长”和“机器最擅长”的事情。坏消息是，我们似乎并未从一路走来的众多错误中吸取太多教训。

三个问题

第一个问题是，人工智能以超人的速度运行。例如，在战场上，即使是那些将最终决定权留给人类的系统，也能处理海量数据，并大幅增加潜在打击目标的数量。但当所谓的“杀伤链”从数小时压缩到数分钟甚至数秒时，这让人质疑人类实际上能提供多大程度的实时控制。

在风险较低的办公环境中，我们开始看到类似的现象，人工智能代理极大地加快了仍需人类指导和审查的工作节奏和数量。一项针对一家美国科技公司生成式人工智能使用情况、为期八个月的研究发现，生产力激增的同时也伴随着“认知疲劳、职业倦怠和决策能力减弱”。

第二个问题是，许多人即使在被警告不要这样做的情况下，也倾向于信任机器。

“自动化偏见”这一现象多年来在各种情境下被反复记录，从司机跟着全球定位系统（GPS）开车入河，到学生在模拟紧急情况下跟着机器人远离消防出口。我之前曾写过关于 Volvo Cars 的一项实验，其中近 30% 的人任由一辆半自动驾驶汽车径直撞向路上的物体。

上个月，沃顿商学院的两位学者创造了“认知投降”一词来描述一种现象，即一个人完全“放弃认知控制，并将人工智能的判断采纳为自己的判断”。（顺便说一句，“认知投降”也很好地描述了我每晚八点左右的状态。）

第三个问题是，问责制变得模糊不清。当出现问题时，谁该负责？人们会倾向于指责做出最终决定的人，但如果他们是在一个并未旨在缓解前两个问题的系统中操作，那可能既不公平，也无法带来恰当的结构性补救措施。

相反，人类可能会发现自己处于学者 Madeleine Clare Elish 所称的“道德缓冲区”。

“正如汽车的缓冲区（crumple zone）旨在吸收碰撞时的冲击力一样，”她在 2019 年的一篇论文中写道，“在一个高度复杂和自动化的系统中，人可能会——无论是意外还是有意地——沦为一个简单的部件，在整个系统发生故障时，承担主要的道德和法律责任。”

深思熟虑地实现自动化

这些问题并非无法克服。事实上，在某些专业领域，我们已经学到了很多缓解这些问题的方法。

例如，民航飞行员几十年来一直在与自动化技术打交道。虽然一路走来也发生过一些灾难，但也吸取了大量教训——例如，在培训飞行员了解各种自动化模式如何工作（以及它们如何可能失灵）的重要性方面，以及鼓励他们偶尔手动驾驶以保持技能方面。

人类必须对这些强大的新技术拥有最终决定权，这个想法具有一种本能的吸引力。但人机交互的历史告诉我们，要实现这一点远不如听起来那么容易。更重要的是，人类控制的幻觉可能比明确缺乏控制更加危险。金融时报