人工智能的下一步妙棋,或许是放弃聊天机器人

对话式人工智能带来的风险和不可预测性太高

    • Character.ai是继ChatGPT之后最受欢迎的消费者人工智能应用之一,月活跃用户约2000万。
    • Character.ai是继ChatGPT之后最受欢迎的消费者人工智能应用之一,月活跃用户约2000万。 图片来源:BT档案照片
    Published Tue, Nov 11, 2025 · 05:35 PM

    本文由 AI 翻译,关键事实请以原文为准。

    查看原文

    战略转型

    类似的做法

    不同的做法

    三年来,聊天机器人一直是生成式人工智能(AI)的代表。在其中输入任何内容,都能获得个性化的回应,仿佛与机器展开了一场神奇的对话。

    虽然这种对话式界面似乎是利用大型语言模型的最佳方式,但一些公司已开始放弃聊天机器人,因为它们担心相关的责任和失控风险。

    他们发现,即使用户设置了安全护栏,用户仍然可以“越狱”该技术,让聊天机器人偏离主题,有时甚至走向有害或不当的方向。这些公司或许放弃了技术的“魔力”,但同时也可能在构建更安全、更专注的产品,并引发了人们的思考:聊天机器人究竟是AI未来的交互界面,还是一时的风尚?

    Character.ai是继ChatGPT之后最受欢迎的消费者AI应用之一,拥有约2000万月活跃用户,其中许多是年轻人,他们在该平台上与动漫、书籍或电影中的角色聊天。

    然而,本月该应用开始禁止18岁以下用户与其聊天机器人进行对话。此前有投诉称,一些孩子对其产生了过度依赖,在某些情况下还遭受了心理伤害。

    战略转型

    首席执行官 Karandeep Anand 表示,Character.ai 正在进行战略转型,致力于成为一个娱乐平台,并采取更为谨慎的做法。他告诉我:“目前可能还没有足够的技术或研究来确保为18岁以下用户提供的陪伴体验能够长期保持安全。”

    长达六个月的音频和视频模型研究也让他的公司“坚信聊天机器人不一定是打造最佳娱乐产品的途径”,并且公司可以为18岁以下用户提供“更好也更安全”的体验。

    Character.ai正在改变其针对青少年的界面,不再是进行可能走向任何方向的开放式对话,而是增加了更多按钮点击和建议提示,而不是像给朋友发消息那样输入文本。

    Anand 说:“更多的用户界面是预设好的,而不是只有一个让你打字的文本框。”

    Character.ai的用户数曾一度达到2600万的峰值,但在今年早些时候,当Anand对公司做出另一项重大改变,禁止聊天机器人进行涉及性内容或自残的对话后,用户数量有所下降。但使用量已逐渐恢复,这位首席执行官相信,即使在采取最新举措后,这一趋势仍将继续。由于Character.ai由员工所有,不受制于投资者,他可以更轻松地进行这种转型。

    类似的做法

    南非保险集团Discovery旗下的Vitality Health也采取了类似的做法,其商业模式旨在通过奖励和折扣来激励用户的健康行为。

    本月早些时候,该公司宣布与Alphabet旗下的Google合作,利用这家科技公司的Gemini大型语言模型为其客户使用的主要Vitality应用提供支持。新版应用将于2026年4月推出。

    尽管Gemini以聊天机器人而闻名,但Vitality选择对该技术进行限制,让其在后台处理语言,主要向用户展示文本、按钮和可点击的选项。

    例如,它可能会显示一个小方框,鼓励用户当天行走2500步以赚取积分和奖励。换句话说,Gemini可以帮助Vitality与客户“交谈”,而无需进入真正的对话。

    对话式人工智能带来的风险和不可预测性太高——这在医疗保健领域可不是什么好事。Vitality AI董事总经理兼公司全球首席精算师Emile Stipp表示:“我们必须谨慎行事,深思熟虑。”

    不同的做法

    芬兰Oura Ring制造商Oura Health则采取了不同的方法,在其设备的应用程序中设置了一个名为“AI顾问”的聊天机器人,客户可以就其睡眠分数和其他生物特征数据与机器人进行交流。Vitality表示将研究添加类似的教练功能,以期帮助改善睡眠质量,但公司尚未准备好付诸实践。

    限制往往能催生创新。似乎随着时间的推移,越来越多的企业会发现,他们更倾向于对自己的数字服务拥有更强的控制力和洞察力,而不是追求聊天机器人那种看似神奇的流畅性。

    当然,公司也面临着错失一个流行且引人入胜的功能的风险,而他们的竞争对手可能会提供这一功能。但转向建议提示和可点击按钮也让AI更易于使用。

    例如,Elon Musk的人工智能平台Grok在其图像生成工具中提供了模板建议——你可以用水彩风格编辑图像或添加超大翅膀——对于图形知识有限的人来说,这些都是很方便的提示。

    这样做也可能更安全。在我看来,OpenAI应该考虑对目前使用最广泛的消费者AI界面ChatGPT进行约束。例如,未来为18岁以下用户设计的家庭作业工具,如果是一个受限的、特定用途的界面,而不是一个开放式的聊天窗口,可能会更有用。人工智能的未来,或许根本就不是与它对话。

    此翻译对您是否有帮助?