新加坡首起人工智能相关数据泄露事件,凸显中小型企业所面临的两难困境

随着技术能力日益强大,期望非专业人士理解其技术风险是否现实?

    • 下一代人工智能产品的竞争关键,应在于非技术用户能多么轻松地理解、验证和控制系统的操作。
    • 下一代人工智能产品的竞争关键,应在于非技术用户能多么轻松地理解、验证和控制系统的操作。 图片:海峡时报
    Published Fri, Oct 2, 2026 · 05:00 PM

    本文由 AI 翻译,关键事实请以原文为准。

    查看原文

    2026年10月1日,据报道,在美珍香(Bee Cheng Hiang)一名员工使用人工智能工具协助为营销电邮程序生成代码后,超过95,000名客户的电邮地址遭到泄露。

    个人数据保护委员会的调查发现,涉事员工使用人工智能协助编写了用于处理本地邮件列表的代码。这段代码在未经充分测试和审查的情况下就被部署使用。

    这起新加坡首例人工智能相关数据泄露事件,揭示了中小型企业(SME)在采用人工智能时所面临的两难处境:人工智能的能力越强,期望非技术员工发现其潜在技术风险就越不现实。

    中小型企业通常人手不足,员工常常身兼数职。引进人工智能工具的同一名员工,可能同时要负责营销、运营和客户沟通等多项工作。

    在许多中小型企业中,可能没有软件工程师来审查人工智能生成的代码,没有网络安全专家来评估集成风险,也没有数据治理团队来决定人工智能系统可以访问哪些信息。

    大型企业可以依靠专门的开发人员、网络安全专家、数据保护官、法律团队和内部审计部门。他们能够围绕人工智能的使用制定政策,并在员工与高风险技术之间设立专业屏障。

    但大多数中小型企业无法做到这一点。

    与此同时,中小型企业之所以转向人工智能,正是为了能以更少的人力实现更快的运营速度和完成更多的工作。

    如果安全采用人工智能需要像大型企业那样设置层层专业监督和控制,那么中小型企业将面临失去其敏捷性的风险,而这恰恰是人工智能对它们的核心价值所在。

    因此,问题不仅在于中小型企业如何才能安全地采用人工智能,更在于如何使人工智能治理变得足够普及,让小企业无需成为治理专家也能轻松应用。答案绝不能是要求中小型企业去建立更复杂的治理框架。

    治理需融入产品设计

    许多大型企业平台已经提供广泛的安全控制和活动日志功能。然而,这些工具通常是为IT管理员设计的,而不是为需要平衡日常运营的中小型企业主设计的。

    知道可以在复杂的管理控制台中配置权限,与了解何种权限适合日常工作流程,是截然不同的两回事。

    为了推动中小型企业安全地采用人工智能,下一代人工智能产品的竞争点不应仅仅是其功能,更应在于非技术用户能多么轻松地理解、验证和控制系统的操作。

    中小型企业主无需理解软件架构,就应该能知道人工智能助手能否访问公司的客户数据库。产品本身应该将这一点明确化。

    当人工智能系统连接到电邮账户、共享云盘或客户数据库时,企业应该能够清楚地看到:

    • 系统可以访问哪些信息;
    • 系统可以触及哪些应用程序和文件;
    • 信息在何处处理;
    • 系统被授权执行哪些操作;
    • 哪些操作需要人工批准;以及
    • 如何更改这些权限。

    这些信息应当在配置时就清晰可见、易于理解,而不是被深埋在技术文档中。

    至关重要的是,权限的设定应遵循任务所需,而非技术的最大能力。

    一个能读取收件箱的人工智能系统,不应自动拥有发件权限。一个能分析客户数据库的系统,也不应自动获得修改记录的能力。

    随着人工智能变得更具自主性,这一点尤为重要。

    传统软件通常在接收指令后执行预设功能。而人工智能代理则可能解读信息、做出决策,并跨越不同系统执行一系列连贯的行动。

    因此,产品应允许企业分级控制其自主性,而不是将其视为一个简单的“开/关”选项。这些边界必须在软件层面强制执行,而不能仅靠提示词中的指令来约束。

    例如,如果一个人工智能代理起草了客户电邮,应用程序本身应暂停“发送”操作,直到获得人工明确授权。在工作流程经过测试、其故障模式被充分理解后,企业才能考虑扩大其访问权限或将某些低风险操作自动化。

    有效的监督同样需要可解释性。

    为了让非技术管理者能够安全地审查人工智能的输出,产品应在展示最终结果的同时,列出其分析的中间步骤和数据来源。这使得企业主可以根据他们熟悉的商业情境来核对系统的逻辑,而无需检查原始代码。

    如果一款产品对中小型企业的营销卖点是“无需技术专家团队即可使用”,那么该产品就不能假定在出现问题时,会有一个技术团队来收拾残局。

    操作安全性必须直接内置于产品设计之中。

    测试工具应能让用户在接触真实数据前,轻松地测试工作流程。

    权限设置应是颗粒化且易于修改的。高风险操作应配备适当的审批机制。系统活动应有足够的透明度,以便企业主能够了解系统访问了哪些数据、执行了哪些操作。

    这并非要免除人的责任。企业仍需为如何部署技术和处理个人数据负最终责任。但随着人工智能工具变得日益强大和复杂,风险管理的担子也必须有所转移。

    如果人工智能旨在将一度由专家独有的能力普及化,那么整个行业也需要将专家过去提供的安全护栏普及化,包括:清晰的权限、有效的测试、适当的监督和受控的访问。

    作者是人工智能软件公司Estha的创始人兼首席执行官。本文在提交前使用了人工智能工具进行编辑。作者本人对本评论的准确性、原创性和最终形式负全部责任。

    此翻译对您是否有帮助?