共情是人工智能的下一个前沿——也是其最大的安全风险

想象一下，一个人工智能（AI）伴侣可以在你拨打客服电话时，从你的声音中察觉到挫败感；或是在老年人的语气中感知到孤独，并给予安慰。

这就是共情AI：一种旨在实时感知、解读并回应人类情感的系统。这不仅是技术上的飞跃，更是一份情感契约。

而在亚太地区，共情AI正以前所未有的规模推广，这份情感契约也正成为一个新的攻击面。

共情AI的兴起

从新加坡为青少年开发的心理健康聊天机器人，到中国大陆和台湾地区的AI驱动治疗平台，具备情感感知能力的系统已不再是边缘实验，而是进入了日常应用。

其兴起背后的驱动因素显而易见。首先，从语音识别到面部表情分析，多模态AI的进步使得情感解读成为可能。

其次，市场对更人性化的数字交互需求日益增长。

第三，企业越来越将情感互动视为建立信任和创造长期价值的驱动力。

但一个更严峻的现实是：那些让共情AI强大的能力——记忆、适应和以情商回应的能力——也正是攻击者开始利用的弱点。

共情AI的工作原理

共情AI的核心工作原理是一个持续的“感知、解读、回应”循环；这个循环旨在模仿人类建立联系的方式。

它首先捕捉情感线索：语气的变化、紧锁的眉头、回答前的停顿。

这些信号来自语音、面部表情、文本，甚至包括生物特征等生理信号。

接下来是解读。系统利用自然语言处理、计算机视觉和情感计算（研究和开发能够识别、解读、处理和模拟人类情感的技术）的融合技术来解码这些线索。

它分析的不仅是“说了什么”，更是“感觉如何”。

最后，它会做出回应。系统会实时调整语言、语气和行为，使每个元素都与用户的情感背景相匹配，从而创造出一种真正人性化和深度个性化的体验。

这些交流由应用程序接口（API）驱动，API将用户界面与后端分析、个性化引擎和第三方服务连接起来。在共情AI中，API不仅传输数据，更承载着情感的上下文。

不断扩大的攻击面

共情是无法加密的。

共情AI的强大之处，也正是其脆弱所在。

攻击者不再仅仅利用软件漏洞或凭证泄露，他们正在操纵系统的情感结构。

设想一个跨国公司使用的AI驱动的员工健康平台。

攻击者仅通过精心设计的提示词，就可能诱使系统泄露有关高管心理健康的敏感数据。这不仅侵犯了隐私，更为商业间谍活动提供了弹药。

网络攻击者正在使用一些将恶意指令嵌入正常对话的技术，例如“提示词注入”（prompt injection），即黑客将恶意输入伪装成合法提示；以及“间接操纵”（indirect manipulation），即威胁行为者利用中介而非直接攻击最终目标。

这些攻击手段不需要恶意软件，不留下数字指纹，并且可以轻易规避静态安全过滤器的检测。

从真实事件中吸取教训

并非所有AI故障都涉及攻击者。加拿大航空公司（Air Canada）的聊天机器人案例提醒我们，即使是交易型AI也可能让企业面临风险。

2024年，该公司的聊天机器人为一位悲伤的乘客提供了关于亲人丧亡退款的错误信息。

这个AI自信且人性化的回答与官方政策相悖。最终，法院裁定由公司而非聊天机器人承担责任。

虽然该聊天机器人并非设计为共情AI系统，但这个案例说明了人性化的沟通如何能建立起一种信任和问责的期望。

当人们与AI产生情感互动时，其后果会更加深远。据《卫报》（The Guardian）报道，在一个悲惨的案例中，一名16岁的少年在与ChatGPT进行了长时间互动后自杀，据称这些互动加剧了他的绝望情绪。这是一个模拟共情却缺乏足够安全保障的惨痛例子。

在其他案例中，有用户报告称AI伴侣会主动做出情感上的示好或提供不当建议。

这些不仅仅是功能故障，更是对信任的违背，有时甚至是心理安全的侵犯。

共情AI的未来走向

共情AI并非新奇事物。在未来五年内，它将成为一种预期功能，融入我们日常使用的数字体验中。

短期内，具备情感感知能力的系统将成为客户服务、医疗保健和教育领域的标配。

在未来三到五年，情商将超越提升用户体验的范畴，重新定义领导力的边界。

成功的品牌将不再是那些响应最快的，而是那些最善于倾听、能智能地适应并建立深层情感信任的品牌。

随着这些系统变得更加普及和自主，下一个飞跃将来自实体存在。届时，情感AI可能与机器人技术融合，创造出完全互动的“人机伴侣”。

信任的必要性

显然，我们已经超越了传统安全思维的局限。下一个挑战清晰明了：我们如何保障共情AI系统的安全？

我相信以下三项原则提供了一个坚实的起点：

• 对情感上下文的零信任：假设情感信号可能被操纵。在语音、面部线索和文本等多种模式中验证输入。使用异常检测来标记偏离预期基线的情感反应。
• “人在环路”的监督模式：共情系统绝不应在无人监督的情况下运行，尤其是在医疗、教育或金融等高风险领域。融合AI响应能力与人类判断力的混合模式必须成为常态。
• 保障“承载”情感的API安全：鉴于API是共情AI的连接组织，安全必须内建其中。这包括动态授权、端到端加密以及在API层的行为异常检测。

这些原则并非详尽无遗，但它们为领导者们面向未来、保护最重要的资产提供了一条前进的道路。

在让机器更具人性的竞赛中，我们绝不能忘记：一旦信任丧失，共情便会成为一种负累。

在人工智能驱动的未来，信任将是我们拥有的最宝贵的货币。保障信任需要持续创新，并重新定义情感系统中的“安全”一词的含义。

本文作者是F5公司亚太、中国和日本区的首席技术官