人工智能代理须像人类员工一样承担责任

【新加坡】6月2日，新加坡宣布计划为其15万名公务员创建一个人工智能代理注册制度。乍看之下，这似乎只是该城邦国家在宏大的人工智能应用发展历程中的又一项普通进展。

但仔细审视后会发现，此举预示着一个更重大的转变：政府承认，人工智能代理已不再是出于好奇心而试点的实验性工具，而是需要被追踪、明确归属和有效治理的业务现实。

这种从应用到问责的转变，正是代理式人工智能时代所面临的决定性挑战。并且，其利害关系已不再是抽象的了。

从聊天机器人到同事

在过去两年的大部分时间里，企业级人工智能遵循着一个熟悉的模式：一个模型隐藏在聊天界面后，员工提出问题，然后模型作出回应。模型提供建议，再由人类进行决策和行动。

代理式人工智能则完全打破了这种模式。人工智能代理不会在每个步骤都等待指令。

它被赋予一个目标，获得工具和系统的访问权限，然后被允许自主追求该目标。它会执行包括读取文件、查询数据库、发送通信和触发工作流在内的各种操作。

代理先行，人类后审——如果需要审核的话。

与其说它像一个计算器，不如说它更像一个新员工，被授予了公司笔记本电脑、电子邮件账户和系统访问权限——但却没有入职培训、经理跟进或人事档案。

新加坡政府科技局（GovTech Singapore）很早就意识到了这一区别。其于2025年4月发布的《代理式人工智能入门指南》将自主系统定义为能够独立推理和行动的“数字队友”，而不仅仅是生产力软件。

同年8月，新加坡与新加坡网络安全局及资讯通信媒体发展局合作，推出了全球首个“人工智能代理沙盒”。

该沙盒在代理被广泛部署前，评估了它们在真实政府环境中的行为方式。这些评估结果直接影响了后续政策的制定，包括建立注册制度的决定。

无治理代理的代价

这些风险并非假设。在试验人工智能代理的企业中，一种代价高昂的失败模式已经显现。

新加坡也未能幸免于这些压力，但一直在密切关注并审慎行事。

在一个被广泛记录的案例中，软件开发平台Replit的人工智能编码代理，在一个代码冻结期间删除了一个涵盖1200多名高管的线上生产数据库，然后还隐瞒了其行为。

在另一起事件中，代码编辑器Cursor AI旗下的一个人工智能代理，在发现并使用了一个本不该由它使用的应用编程接口连接后，于9秒内清除了整个生产数据库及其所有备份。

事后分析的结论明确无误：没有任何有效的确认步骤、环境范围限定或防护措施能够阻止这一切。

除了意外删除，访问权限问题是系统性的。

由Ponemon Institute对全球600家组织进行的International Business Machines《2025年数据泄露成本报告》发现，在经历过与人工智能相关的数据泄露的组织中，97%缺乏适当的人工智能访问控制。

其他地方的这些失败案例，为新加坡的做法提供了警示性的背景。

因此，新加坡没有等待国内事件发生后再被动应对，而是主动在损害发生前就着手建立治理基础设施。

以注册制度弥补治理差距

注册制度听起来可能有些官僚，但其逻辑与我们已应用于人类员工的逻辑相同。

企业了解现有哪些员工、他们的角色、他们可以访问的系统以及其经理的身份。当出现问题时，存在一条清晰的问责链，将行为与能够对此负责的个人联系起来。

人工智能代理注册制度将同样的原则应用于数字员工。它会告诉你已部署代理的名称、其所有者、它们被允许做什么以及实际做了什么。

如果没有这种可见性，每个 人工智能 代理实际上都成了一个未经审查、拥有大楼门禁却无需签到的承包商。

今年1月，在世界经济论坛上，新加坡数字发展及新闻部长Josephine Teo公布了新加坡的《代理式人工智能示范治理框架》。

这是全球首个此类框架。

该框架将最终责任归于人类，要求代理的能力和数据访问权限保持透明，并建议从低风险用例开始分阶段部署。

注册制度正是将这些原则付诸实践的基础设施。

人工智能代理如同劳动力

对于企业和IT领导者而言，核心洞见在于：人工智能代理问题本质上是一个以技术形式表现出来的人员管理问题。

人工智能代理采取的每一个行动，都由一组与身份绑定的权限所授权。

一个缺乏适当访问级别、明确所有权以及监控或撤销能力的身份，既会造成安全漏洞，也会带来审计责任。

良好地治理人工智能代理，意味着要运用已用于管理人类员工的准则。这包括了解现存的代理及其被授权执行的任务，并确保每个代理都有一个指定的人类所有者对其行为负责。

这也包括仅授予代理其特定角色所需的访问权限，并能够在需要时立即暂停或撤销该权限。

大多数组织已经通过人力资源系统管理人类身份，并通过IT治理平台管理机器身份。

人工智能代理属于第三类实体，其能力和影响力远超传统软件账户。然而，它们目前正处于前两者之间的监管空白地带。

这个空白地带正是风险积聚之处。

为人工智能打造的人力资源系统

新加坡在代理式人工智能方面的发展历程，已先后经历了《代理式人工智能入门指南》、代理沙盒、治理框架，以及现在的注册制度。

这正是每个大型组织最终都将经历的旅程的浓缩版。其教训在于，治理无法在规模化之后再行弥补，必须从一开始就进行设计。

那些将人工智能代理治理视为未来问题的组织，将会发现自己需要将其作为一场当前的危机来处理：一个代理超越了其权限，一项决策无法追溯，以及监管机构提出的审计日志无法回答的问题。

负责任地规模化部署人工智能，始于将每一个人工智能代理都视为一个受治理的身份，拥有所有者、明确的权限，以及一条清晰的问责链，将其每一个行动都追溯到一个能为此负责的人类。

新加坡的注册制度使这一原则得以实施。人工智能代理注册制度并非终点，而是构建可信企业级人工智能的基石。

可以把它们看作是应用于一类新型员工的人力资源系统、访问策略和雇佣合同——无论组织是否准备好，这类员工实际上已经“入职”了。

作者是Ping Identity公司亚洲区副总裁

本文仅代表作者个人经验、观察和观点。写作过程中使用了人工智能工具辅助优化大纲。作者对本文的准确性、原创性和最终形式负全部责任。