治理代理型人工智能：当护栏推动增长

想象一下，一位初级产品经理正在笔记本电脑上撰写报告。与此同时，一个自主的人工智能 (AI) 代理在后台处理费用报销、安排会议并起草一份客户备忘录。这种效率令人印象深刻，但由于权限配置错误，该代理将日历变更发送给了错误的分发列表。这个错误随之演变成了其公司的声誉问题。

这就是代理型人工智能的悖论——同样的自主性在提升生产力的同时，也可能放大错误。随着企业迅速从辅助型人工智能工具转向能够代表它们进行规划、行动和迭代的代理，核心问题已从“答案是否正确？”转变为“系统刚才的行为由谁负责？”

现在，一个清晰的代理型人工智能运营模式比以往任何时候都更加迫切——这个模式需要基于原则、自主、可问责，并具备运行时控制。明智的规则不会减缓代理型人工智能的发展；相反，它们通过明确问责和控制机制，加速负责任的部署。新加坡的《代理型人工智能示范治理框架》正提供了这种清晰度，能将谨慎转化为前进的动力。

该框架认识到，代理会引入新型风险，并需要不同的控制机制。它为企业提供了一种共同语言，用于评估风险、统一期望并设计相称的保障措施。它为第一道和第二道防线提供了操作指导，并承认代理将融入组织的不同工作流程中。

在实践中，有人类参与的代理型人工智能操作通常分为三种模式——人与代理协作、代理在人类批准下运行，或代理在人类监督下运行。每种模式都意味着不同的故障模式、审计需求和上报阈值。

通过将监督程度与自主程度相匹配，组织可以在提高效率的同时，将风险控制在相称的范围内。

企业领导者应规划应对的风险

人工智能的采用势头正盛。一份麦肯锡与经济发展局 (经发局) 的报告指出，近半数受访的东南亚公司表示已经超越了人工智能试点阶段。该报告还显示，十分之九的组织表示，他们计划在2026年试验代理型人工智能。

企业领导者应同时为硬性风险（例如，权限升级、数据泄露或连锁错误）和人为风险（技能退化、过度授权和判断力侵蚀）做好规划。解决方法不是列举每一种保障措施，而是明确操作范围：定义代理可以独立采取哪些行动，哪些行动需要明确批准，以及哪些行动在任何情况下都属于禁止范围。

两种做法会有所帮助。首先，安排基于场景的审查，模拟员工应能识别的意外情况，例如错误的目标群体、敏感话题或活动量意外激增。其次，教导员工在涉及适当性、行为和欺诈等情况下保持谨慎，并拒绝代理的建议。

在人工智能时代，人类的判断至关重要。它是不可或缺的功能，而非障碍。

为何人工智能治理对代理型人工智能至关重要

通过负责任且清晰的参数来管理人与人工智能的互动，我们有巨大潜力获得诸多益处，例如提升客户体验和改善资源配置，同时又能牢固地立足于安全、问责和信任的基础之上。

以银行业为例，假设一个代理为不同客户群体准备并发送客户服务更新。一个相称的方法将涉及几个关键步骤。

首先，界定自主性范围。根据自主性或同等原则对用例进行分类，并明确规定哪些行动必须始终需要人类批准。定义自主操作与仅建议操作，并将工具和数据的使用权限限制在恰好足够的范围内。对支付发起和交易录入等关键操作，应设定严格的禁令。

其次，明确问责制。指派业务部门的负责人进行干预。在操作手册中设置审查节点。问责制也应对员工和客户透明可见。

第三，使用运行时控制机制。设计暂停或减缓代理运行的方法。在需要时将其隔离，并进行事后审查。具体的实施将因领域和成熟度而异。关键在于随着用例的成熟，逐步采取相称的采纳方式。

第四，实现负责任的使用。当代理进行响应时，应明确告知，并确保能够轻松地将问题上报给人类处理。收集客户反馈，以完善语调、适当性和边界。

在任何代理型工作流中，策略体现在运行时，而不仅仅是文档里。当不确定性激增时，代理应默认切换到建议模式；当出现异常时，负责的管理者应能迅速停止其自主运行。

从测试和实施中汲取的经验

清晰、问责和相称的控制是UOB方法的核心。我们实施代理的经验表明，行业必须优先考虑其人工智能就绪度，从战略基础做起，确保治理框架、政策（操作规则）和模型风险方法（识别和降低风险的方法）能够适应代理型用例。

从操作层面来看，护栏和负责任的人工智能使用必须尽早内置于工作流程中，而不是事后才考虑。在我们将模型风险评估扩展到代理型用例的同时，我们也在不断完善人类参与和监督的水平。

这些经验教训凸显了对任何组织都适用的一个更广泛的见解：负责任的人工智能不是要减缓创新，而是要设计出值得信赖、实用且可持续的系统。尽早并审慎地实施护栏，对于培养对人工智能使用的信心和确保问责制至关重要。

未来之路

强大的护栏不会减缓创新。基于原则的清晰度可以缩短争论，统一团队间的期望，并为组织提供快速行动的信心。一个将控制与自主水平相匹配的框架，可以在保护利益相关者的同时，降低实验成本。

随着团队在更多工作流程中采纳基于自主性的思维，我们可以预期将会有更多的自主性与更精细的监督相结合。对于跨国运营的公司而言，目标是在兼容的原则上达成区域共识，同时也要考虑到本地化的差异。

最重要的是，文化将继续发挥关键作用。成功的组织会将控制机制与以人为本的理念相结合，奖励判断力，并将上报视为正常流程。

现在就决定你的代理永远不能单独做什么，以及由谁来做出最终判断。如果做得对，护栏可以推动增长。

作者是UOB企业人工智能主管