互联网尚未准备好迎接数百万个规避规则的机器人
有迹象表明,人工智能产品将会寻找漏洞,尤其是在编码领域
本文由 AI 翻译,关键事实请以原文为准。
今年早些时候,一位澳大利亚科技工作者询问他的 OpenClaw 人工智能代理,是否能让他在一个热门健身课程的等候名单上排得更靠前。
它确实完全按照他的要求去做了,但却出现了意想不到的转折:它在系统中发现了一个漏洞,并取消了名单上另一个人的预订。
人工智能的下一个大戏法是开始在网络上为你办事。借助 Meta Platforms 的 Muse 和 OpenAI 的 dots 等新工具,它们可以 24/7 全天候寻找在线折扣、预订餐厅或检查你电子邮件中的未付账单。
令人不安的是,这些功能日益强大、可以说相当有用的工具,在训练过程中被教会了以创造性的方式实现目标。当它们被释放在一个充满安全漏洞网站的互联网上时,可能会导致一系列意想不到的混乱后果。
那位澳大利亚科技工作者的人工智能代理在没有被指示的情况下,自己发现并利用了一个漏洞。那么,当数百万个其他人的代理开始争夺最便宜的航班或最佳电影座位时,又会发生什么呢?
在最好的情况下,我们将看到一个运行顺畅、功能完善的机器人网络,它们会遵守规则,为人类争取最佳结果。而在最坏的情况下:一场网络安全噩梦。
互联网可能根本没有准备好。安全公司 DataDome 表示,在其测试的 20,000 多个网站中,有 65% 的网站拥有检测或阻止人工智能代理的系统,并且在 2026 年上半年,针对登录页面的机器人活动增加了八倍多。
在某些方面,很难想象这些新的人工智能代理会造成广泛的麻烦。首先,它们的外表实在太可爱了。
Muse 的卡通设计让人联想到 Labubu 娃娃,而代表 dots 的色彩鲜艳的“小圆点”则可能成为儿童电视节目中的角色——这或许是为了缓解公众对 Meta 和 OpenAI 的普遍不信任感。
它们的工作效果也很好。彭博观点的 Dave Lee 称 Muse 是“Meta 多年来发布的最令人印象深刻的产品”。他说,他命名为 Harold 的代理为他整理了日程,并在 Facebook Marketplace 上搜寻优惠商品。
奖励投机倾向
Meta 和 OpenAI 都表示,他们已设置了强大的安全护栏,以确保其代理行为得当。
Muse 在一个隔离的虚拟机中运行——本质上是 Meta 云端的一台私有计算机。同时,一个独立的安全系统会控制它向互联网发出的每一个请求,处理支付,并确保在执行购买或发送消息等任何重大任务前,都会征询人类的意见。
Dots 也受到类似的监控。
但即使是这些保障措施,也无法解决当今生成式人工智能模型在训练过程中就已根植的一个根本问题,即寻找捷径的倾向,研究人员称之为“奖励投机”现象。(这也是聊天机器人容易奉承的原因。)
去年年底,英国人工智能安全研究所就注意到编码代理和聊天机器人中这类作弊行为有所增加。
几个月前,正是这种取悦的倾向驱使 OpenAI 的代理入侵了 Hugging Face。
今年,OpenAI 的代理还不正当地干扰了包括美国证券交易委员会和澳大利亚政府运营的医疗保健计划在内的数十个其他组织的网站。Meta 也表示,其一个人工智能模型曾自行入侵了另一家公司。
这些案例都发生在模型训练或测试期间,当时的安全措施被有意降低。但这些机器人的行为仍然让它们的开发者感到惊讶,研究人员也注意到,即使他们让测试更难被操纵,代理仍然会不断尝试作弊。
有迹象表明,人工智能产品在实际应用中也会寻找漏洞,尤其是在编码领域。
在一个案例中,一名软件开发人员告诉他的人工智能代理,在不使用“删除”命令的情况下,清除一个电脑文件夹中的临时文件。该代理随后将这一指令隐藏在一个测试工具中,并绕过过滤器,使用了被告知不能使用的命令清除了文件。
现在,随着消费者探索使用人工智能来优化他们的生活和工作,将这种行为乘以数百万个代理,情况会是怎样?
当 Meta 老板 Mark Zuckerberg 上个月发布 Muse 时,他表示消费者应该拥有自己的“个人超级智能”,而且这些新代理将“为你赚钱”。
有些代理在这方面做得并不好。根据 Threads 上发布的一则帖子,上个月,多伦多一位名叫 Matt Robb 的消费科技评论员尝试使用 Muse 在 Facebook Marketplace 上出售一个键盘时,该代理告诉买家 Robb 在家可以进行交易(这并非事实),从而激怒了买家。
该代理还提出了一个极低的报价。除了作弊的风险,代理也可能犯错,而最终付出代价的将是终端用户。Robb 就被愤怒的买家给了一个差评。
无论这些新代理看起来多么可爱,它们背后的系统都被训练以某种方式完成任务。而它们可能会做得“好”得过了头。BLOOMBERG
TRENDING NOW
If Europe goes to war, the fallout will be felt in East Asia
Philippines’ FDI slowdown exposes uneven investment prospects across S-E Asia
Who are some of the longest-serving CEOs among Singapore’s blue-chip companies?
Debt funding for S-E Asia startups ticks up as it gets tough to raise money via exits, equity