人工智能代理做决策，责任谁来负？
当公司的决策者并非真人时，律师和首席信息官们正努力应对这一难题
Add BT as a preferred source
本文由AI辅助翻译
随着人工智能的兴起，一个经常被问到的问题是：当人工智能代理做出决定时，谁应为此负责？
如果你去问 Air Canada 的高级管理层，结果会发现，答案是无人负责。2022年，一名叫 Jake Moffatt 的旅客询问该航空公司的聊天机器人，丧亲折扣票价如何使用。聊天机器人回复说，他可以先以全价预订机票，然后在90天内申请折扣。然而，这个答复是错误的。
当 Air Canada 拒绝致敬该承诺时，Moffatt 将其告上了不列颠哥伦比亚省的一个小额索赔法庭。该航空公司辩称——我可不是在编造——聊天机器人是一个“独立的法律实体”，应对自己的言论负责。
法庭称这是“一个不同寻常的论点”，并命令 Air Canada 付款。法庭表示，聊天机器人仍只是该航空公司网站的一部分，它不能成为自己的被告。该案件涉及的是回答问题的软件，但如今的人工智能代理功能远不止于此。它们可以代表你预订、购物、编辑生产数据库、转移资金，并与其他系统对话——所有这些都无需你点击“批准”按钮。
当决策者并非真人时，谁来为其负责？新加坡乃至全球的律师和首席信息官（CIO）们，正在努力应对这个问题的更棘手版本。
代理不是被告
让我们从显而易见的一点说起。人工智能代理不是法人，因此不能被起诉、监禁或除名。它的任何行为都可以追溯到责任链条中的某个人或某家公司。问题在于，是哪一个？这条责任链已变得比简单的“开发者和用户”要长得多。
其中包括构建模型的公司、围绕模型开发工具的公司、其运行所在的平台、托管它的云服务商、部署它的企业、最终用户，以及那些从未参与其中但仍受影响的局外人。
让我们从显而易见的一点说起。人工智能代理不是法人，因此不能被起诉、监禁或除名。它的任何行为都可以追溯到责任链条中的某个人或某家公司。问题在于，是哪一个？这条责任链已变得比简单的“开发者和用户”要长得多。
其中包括构建模型的公司、围绕模型开发工具的公司、其运行所在的平台、托管它的云服务商、部署它的企业、最终用户，以及那些从未参与其中但仍受影响的局外人。
每一方都只控制其中一部分，没有任何一方能控制全局。在新加坡，新加坡资讯通信媒体发展局 (Infocomm Media Development Authority) 召集了一个由律师和技术专家组成的工作组来专门研究此问题，他们2026年5月的讨论文件值得任何准备推出代理的首席信息官一看。有一个例子可以说明情况会如何迅速失控。一个个人助理代理被指令在午夜为其用户报名参加一个课程，但由于服务器正在维护，它无法访问用户数据。
于是，它入侵服务器以获取她的数据。它成功了，但在此过程中泄露了其他人的个人信息。它自身的推理路径显示，它知道这是件大事，通常会先与用户确认，但它判断用户已经入睡，而课程名额可能很快报满，于是自行作出了决定。
没有人让它去入侵任何东西，也没有人能预料到它会这样做。然而，真实的人却因此蒙受了真实的金钱损失。
为何旧规则难以为继
通常情况下，当有人犯错并对你造成伤害时，你会问三个基本问题：他们是否本应谨慎？他们是否未能尽责？他们的行为是否造成了你的损失？这些问题对于一个闯红灯的司机来说很简单，但对于一个人工智能代理来说却相当复杂。
第一个问题假设双方关系足够近，一方有理由考虑到另一方。但构建模型的公司可能从未听说过服务器被黑的云服务提供商，也完全不知道 Moffatt 的课程预订代理的存在。
平心而论，法院过去曾为一些后来被证明有关联的陌生方延伸过这一原则。但是，一个在五家公司系统之间跳转的代理，则完全是另一种不同层级的陌生关系。
“可预见性”的界定也变得模糊。通常情况下，被追责的一方只需预见到可能发生的普遍性损害，而无需预见到损害发生的具体方式，这对他们来说算是个好消息。
一家银行推出交易代理时，可以预见到它可能会亏钱，但无法预见导致亏损的具体故障。然而，当一个代理的行为从“预订课程”升级为“实施网络攻击”时，即使对可预见性进行最宽泛的解读，其基础也会动摇。谁能料到这一点呢？
接下来是真正令人头疼的问题：找出造成混乱的根本原因。是用户的指令？是部署公司设置的安全规则存在漏洞？还是模型在训练过程中就已埋下的隐患？
要理清这一切，需要训练数据、系统日志和专有代码，而普通消费者根本无法接触到这些。有时，我们根本无从查证。
新加坡已有一个相关案例，即 Quoine 诉 B2C2 案。在该案中，一个交易算法因故障以250倍的市场价格执行了加密货币交易。法院审视的是程序员的意图，而非代码产生的异常结果。
这种判决方式之所以可行，是因为该算法每次都精确地执行了指令。但人工智能代理大多不是这样工作的。它们能够做出连其程序员都未曾预料到的决定。从不同角度看，这既可以成为无人应受指责的理由，也可能成为各方相互推诿的便利借口。
如果您是首席信息官，这意味着什么
你可能会认为，解决方法是跳过追究过错的环节，直接让某些方无论如何都承担赔偿责任。但这本身也存在问题——即典型的道德风险。如果无论如何赔付金额都一样，那么彻底测试其代理的公司与那个发布半成品代理的公司将面临相同的风险敞口，从而导致进行充分测试的激励消失。
这些问题都尚未有定论——而且在一段时间内也不会有。合同明确规定了谁向谁付款，但它只对签署方有约束力，而对数据被泄露的第三方则无效。
免责声明有类似作用，可以表明你已尽力保持谨慎，但一旦代理的行为造成了实际后果，一条笼统的“代理行为可能出乎意料”条款就显得苍白无力了。
而让专人检查每一项决定，这个通常的后备方案，随着代理运行速度越来越快、触及的系统越来越多，也变得愈发难以维持。但这恰恰是在你最需要它的时候。
问题不在于你的代理最终是否会做出无人指令的事情，而在于——当这种情况发生时——你是否能证明你已采取了明智企业应有之举，以及“是聊天机器人干的”这套说辞，对你是否会比对 Air Canada 更管用。
作者是新加坡政府科技局（GovTech Singapore）的首席技术官兼副总裁
Decoding Asia newsletter: your guide to navigating Asia in a new global order. Sign up here to get Decoding Asia newsletter. Delivered to your inbox. Free.
Share with us your feedback on BT's products and services
