人工智能的威胁已潜入银行内部

这张信用卡的活动看起来很正常：一杯4新元的咖啡、一笔电商平台的消费、一笔小额的数字订阅。这些交易都没有触发银行的欺诈检测系统——因为它们的本意就不是如此。 

然后在一夜之间，同一张卡完成了一笔近5万新元的转账。而持卡人对此毫不知情，仍在睡梦中。

在这个假设的场景中，具有启发意义的部分是前三笔交易的真实性质。它们并非由合法持卡人操作，而是攻击者悄悄执行的低价值测试，用作“训练数据”。 

在两周的时间里，他们耐心地“预热”了银行的系统。这意味着通过小额转账，并以一定的频率重复，让银行的风险模型学习并将这种特定模式——即将资金转移到同一个电子钱包——视为持卡人的正常行为。 

等到那笔5万新元的交易发生时，它看起来已不再是异常行为，而是模型已经批准了十几次的操作。该模型被一次一笔小额交易地“教导”，最终为真正的攻击放行。

自主型人工智能是一项安全风险

今年5月，新加坡金融管理局 (金管局) 召集了该国几家最大银行的总裁，共同讨论由人工智能引发的网络风险。

数码发展及新闻高级政务部长Tan Kiat How直言不讳地指出了一个事实：能够执行端到端攻击活动的完全自主人工智能代理，已不再是假设，而是必然会发生。

更令人担忧的是，尽管此次会议关注的是人工智能被武器化并用于攻击系统等外部威胁，但一个更隐蔽的转变已在银行内部发生。 

部署在该地区银行中的人工智能已不再仅仅是助理。它能做出判断——在毫秒间做出贷款决策，在分析师打开笔记本电脑前拦截可疑欺诈，以及在任何人读完一份资料前，就利用数千个数据点建立起反洗钱模型。 

多年来，在我们与东南亚各地的银行合作伙伴和金融机构的合作中，我们看到该行业推出了数千个人工智能系统，但在许多情况下，它们都难以完全解释这些系统是如何决策或为何会失败。 

这些困境并非因为技术是全新的。多年来，银行一直在投资于预测性和实时分析技术。

早在2022年，市场研究公司Forrester就发现，近89%的受访银行已处于采纳此类工具的规划、实施或运营阶段。 

新情况是，如今各机构对这些系统的访问范围缺乏明确的控制，也无法完全理解其决策过程。

那些曾被监管机构视为“黄金标准”的控制措施——例如自拍活体检测、短信一次性密码（OTP）和季度模型更新——如今已近乎过时。 

深度伪造和换脸工具的技术已发展到合成人脸可在数秒内通过大多数商业活体检测的程度，并且构建这些工具的技术现已广泛普及。 

SIM卡交换欺诈已使一次性密码（OTP）变成了一种攻击者早已懂得如何绕过的防御方式。

风险模型本身正受到持续的探测。每一次拦截都会向攻击者暴露防御的轮廓。许多董事会报告所依赖的“模型即保障”的假设已不再成立。

以下是该地区多数首席信息安全官（CISO）所低估的一点：尽管外部威胁真实且日益增长，但更大的风险在于银行已经引入内部的人工智能。 

随着各机构竞相部署能够直接访问内部数据和操作的AI助手和系统——在某些情况下，这些代理甚至能接触到资金流动——它们正在制造一个18个月前还不存在的漏洞。

在我们合作过的多家大型银行中，都存在由员工自行设置、未经首席信息安全官知晓的“影子人工智能代理”。

简而言之，威胁已转移至内部。它就像一个未经任何人筛选的“新员工”。

更新安全协议势在必行

追求速度的本能仍然是正确的。亚太地区的普惠金融差距过大，而这些人工智能系统的优势——能够让那些通常无法获得银行服务的人群享受到服务——是显而易见的。 

但在仓促采用人工智能的过程中，必须做出具体的改变来维护银行系统的安全。

首先，放弃自拍活体检测旨在回答的那个已被攻击者多年前破解的问题，转而采用持续的行为检测：在每个步骤中，当前会话的意图是否与其声称所属的账户相匹配，而不仅仅是在登录时？

其次，像管理员工一样管理内部的人工智能代理：指定负责人、明确的书面范围、审计追踪和紧急关闭开关。任何在该框架外运行的代理都应被视为未经授权的员工，而非生产力工具。

一个例子是新加坡政府科技局（GovTech）在6月初宣布的具有里程碑意义的人工智能代理注册系统，用于记录和监控自主助手。

第三，防御系统需要像攻击一样快速适应。面对实时适应的系统，季度的模型更新周期显得滞后。

金管局提出的公平、道德、问责和透明原则仍然是正确的框架，将此问题置于首席执行官而非首席信息官面前是正确的举措。 

但我们在实践中看到的不光彩的现实是，该地区许多银行如今正运行着尚未经过全面审计的自主人工智能，同时还要防御它们尚无法可靠拦截的自主型技术。 

这不必成为我们的现实。

金融机构和构建这些系统的科技公司也在此负有责任。在某个选定指标上超越人类前辈，是一个错误的基准。

更令人不安的问题是，系统是否会可预测地失败，以及组织中是否有人真正被授权可以关闭它。

新加坡在应对人工智能引发的网络威胁方面的响应表明，当监管机构、各机构和技术专家协同行动时，治理效果最佳。

同样的原则也适用于在信贷、欺诈和合规决策中部署自主型人工智能——这些系统每天都在影响着该地区数百万人的生活，而他们大多对此并不知情。

今晚的某个地方，正有一笔信用卡咖啡消费正在进行，一件电商平台的商品正被购买，一项小额数字订阅正在续订。

如果银行不为人工智能代理时代更新昨日的规则，其模型看到的将是一个准备安顿下来度过夜晚的人——而这正是攻击者的计划。

本文作者是TrustDecision的首席数据与人工智能官