人工智能代理陷阱：新加坡公司如何避免重蹈科技行业代价最昂贵的覆辙

今年一月，在达沃斯，新加坡公布了针对自主人工智能 (AI) 代理的新治理规则——这是一种能够在有限的人工监督下进行独立推理、决策和执行多步骤任务的系统。

这份《代理式人工智能示范治理框架》明确地针对了监管机构所称的“未经授权和错误的行为”，这些行为发生在 AI 代理访问客户数据库和财务记录等敏感信息之时。

这一时机并非巧合。根据 Databricks 对全球超过 20,000 名客户进行的一项新研究，在短短四个月内，亚太地区协调的多代理 AI 系统的企业部署量激增了 327%。

在新加坡高度监管的商业环境中，这些自主系统现在正以计算速度执行交易、处理合规文件以及访问机密数据，而人工检查点极少。

让此刻变得至关重要的是，它正在重演一种固有的模式。

历史重演，但速度更快

三十年来，科技行业“完善”了一套代价高昂的剧本。

在1990年代和2000年代，网络安全依赖于软件防火墙。攻击者攻破了这些防火墙。于是，公司增加了更多的软件监控工具。然而，安全漏洞事件持续了大约15年，直到基于硬件的安全措施成为标准。

2010年代的云安全重演了这一模式。软件控制未能阻止安全漏洞。公司增加了策略框架和监控系统。大约八年后，基于硬件的隔离最终提供了本应从一开始就存在的保护。

多年来，安全漏洞、违规行为和昂贵的补救改造层出不穷。

如今，同样的模式正在上演，但时间从数年缩短到数月，而且这次的主角是能够直接访问生产数据的自主系统。

Anthropic 在2024年11月决定开源其模型上下文协议 (Model Context Protocols)，这使得将 AI 代理直接连接到企业系统变得异常容易。到2025年中期，包括 Amazon Web Services 和 Google 在内的主要科技公司组成了一个紧急联盟，以解决架构上的弱点。

从广泛部署到行业危机响应，只花了八个月时间。新加坡在达沃斯作出的监管回应表明，各国政府已经认识到此事的紧迫性。

为何 AI 代理是董事会层面的议题

眼看竞争对手纷纷部署 AI 代理，企业领导者面临一个两难选择：是快速行动并接受安全风险，还是谨慎行事而落于人后。

AI 代理的商业价值极具吸引力。PwC 的一项调查发现，66% 采用 AI 代理的公司报告了可衡量的生产力提升。

但 AI 代理代表了运营控制的根本性变革。传统系统执行敏感操作需要明确的人工授权。而 AI 代理则省去了这些检查点，它们能自行解读指令，并在互联系统中执行操作，无需每一步都获得批准。

效率的提升源于减少了人为干预的阻力，而风险则来自于移除了人为的监督。

当安全漏洞影响到拥有生产访问权限的 AI 代理时，被入侵的系统会执行未经授权的操作：数据窃取、欺诈性交易、违反法规。其商业影响也从声誉受损转变为重大的财务和法律风险。

大多数部署 AI 代理的公司将其视为一个 IT 实施项目。但这应该是一项高管层面的风险管理决策。

安全投资的两难困境

部署 AI 代理的公司面临三种安全策略。

第一种侧重于预防：采用来自 Nvidia、Anthropic 和 OpenAI 的输入过滤和指令验证系统。其局限性是根本性的：这些是类似于垃圾邮件过滤器的模式匹配系统，对已知攻击有效，但对新型攻击技术则很脆弱。

第二种强调遏制：采用权限框架和行为监控协议。然而，AI 代理需要广泛的权限才能实现效率提升。范围过窄的权限会消除其商业价值，而行为监控则是在漏洞发生后才能检测到。

大多数采购讨论中都忽略了第三层：在基础设施层面运行的检测系统，它监控的是数据物理存储的位置，而非应用程序运行的位置。这代表了硬件层面的监督，即使在软件控制被攻破时也能发挥作用。

以往技术周期的模式表明，这第三层最终将成为强制性要求。那么问题是：企业领导者是会主动投资，还是等待第一次重大安全事件发生后才被迫做出决定？

这对新加坡公司意味着什么

对于在新加坡高度监管环境中运营的公司而言，其中的风险尤其严峻。

监管风险是直接的。《个人数据保护法》规定，对数据保护失误的处罚最高可达100万新元或年营业额的10%。

根据新加坡金融管理局的技术风险管理准则，金融机构面临额外的审查。如果 AI 代理不当处理客户数据或执行未经授权的交易，无论该漏洞是否为“自主”行为所致，公司都将面临法定处罚。

运营风险会迅速叠加。AI 代理在互联系统中快速运行。当异常检测系统标记出可疑行为时，自主操作可能已经在多个系统中执行完毕。

竞争地位将迅速分化。从一开始就优先考虑 AI 代理安全的早期采用者将能自信地扩展其自主运营。而那些先部署后解决安全问题的公司将面临一个选择：是带着已知漏洞继续运营，还是在竞争对手前进的同时回滚部署。

新加坡作为区域技术中心的地位创造了机遇。那些能够展示成熟安全框架的司法管辖区将吸引更多投资。

董事会的议程

需要解决的第一个挑战是可见性。许多代理是在业务部门层面部署的，缺乏企业级的安全监督。IT 安全团队通常不清楚哪些代理拥有生产系统访问权限，或者它们被授权执行哪些操作。

仅有可见性是不够的。当一个代理开始以计算速度窃取客户记录时，组织需要有明确的授权结构，以便在不中断运营的情况下关闭对业务至关重要的代理。

AI 代理是拥有客户数据、金融系统和运营基础设施特权的自主系统。这是一种战略性风险，应与网络安全和法规遵从性一同在董事会层面进行讨论。

主动投资的窗口期正在关闭。AI 代理已经投入生产，但其安全架构仍在建设中。在以前的技术周期中需要10到15年发生的事情，现在在短短几个月内就发生了。

科技行业已经通过大量的安全漏洞报告和补救改造成本记录下了这一教训。我们有机会在重蹈覆辙之前吸取这些经验。