戴尔:随着“Token 最大化”和人工智能成本飙升,企业转向私有 Token 工厂
企业意识到,除了削减成本外,将此类机器部署在本地也更有利于数据安全
本文由AI辅助翻译
【新加坡】尽管各公司鼓励使用人工智能,但它们也在努力应对使用 token 所带来的日益增长的成本。Token 是人工智能模型所理解的语言的基本构成单位。
仅在中国,每日的 token 消耗量就在2026年3月超过了140万亿,而2024年初时仅为1000亿。
高盛在一份报告中表示,在全球范围内,token 的消耗量只会越来越高。预计在2026年至2030年间,消费者和企业每月将使用120千万亿个 token。
Token 是人工智能模型用来理解输入内容(即被提出的问题或被分配执行的任务)并生成输出内容(即内容或回应)的单位。
目前,像 OpenAI 和 Anthropic 这样的人工智能平台已经放弃了不限流量的定价方案,转而采用根据 token 使用数量计算成本的计费系统。
OpenAI 的最新模型 GPT 5.5 对输入收费为每百万 token 5美元,输出收费为每百万 token 30美元。Anthropic 的 Claude Opus 4.8 模型收费标准类似,输入为每百万 token 5美元,输出为每百万 token 25美元。
随着智能体人工智能的出现,人工智能智能体能够自主执行任务,这将导致 token 的使用量只增不减。
尽管 token 成本在一年内从10美元降至2.5美元,但这仍导致公司的账单急剧膨胀。
单位 token 成本下降,但总账单仍在膨胀
Dell Technologies 基础设施和电信营销高级副总裁 Varun Chhabra 表示:“这导致了一个悖论:尽管每个 token 的成本正在大幅下降,但一个组织内生成的 token 数量是如此之高,以至于 token 的总成本正在大幅上升。”
KPMG 在一份报告中指出,在已经使用人工智能的公司内部,只有约5%的用户足够成熟,能够通过使用它来创造价值。
Chhabra 说,这些用户是大量消耗 token 的群体,并且他们还远未达到其 token 使用量的上限。
目前,大多数公司使用云服务提供商来生成 token,并向 Amazon Web Services 和 Google Cloud 等云服务提供商支付计算能力费用。
Dell Technologies 亚太、日本及大中华区售前副总裁 Danny Elmarji 表示,但随着媒体报道有公司在推行“token 最大化”,即让员工在工作中尽可能多地使用人工智能,成本随之上升,并引发了关于如何更有效地使用 token 的反思。
那些不仅仅将人工智能用于基本搜索功能的公司,正日益意识到成本问题。Elmarji 补充道:“当它还只是基本搜索功能时,成本就已经很高了……现在有了智能体系统,成本更是增加了10倍。”
随着 token 成本的上升,企业将不得不考虑引入自己的 token 工厂,其形式可能是在数据中心的服务器,也可能是放置在用户旁边的台式机。
这实际上将 token 的成本从云端转移到了公司本地。
这种“人工智能 token 工厂”是一种基础设施,旨在工业化规模地生成、处理和管理由人工智能驱动的输出,并且其优化重点是输出量而非速度。
其中一些机器自身运行人工智能模型;另一些则通过应用编程接口 (API) 调用模型,以便将数据安全地限制在机器内部。
拥有这些基础设施——机器起价为6332美元——将消除可变的 token 成本。
Elmarji 说:“他们选择本地部署的原因之一是成本问题,以及如何遏制和控制成本。”
他补充说,一些客户已经在寻找数据中心来托管他们的 token 工厂服务器。Chhabra 表示,这将讨论的重点从每个 token 的成本转移到了运行该基础设施的运营支出上。
这意味着公司可以最大限度地利用自有基础设施来降低 token 成本,而不是依赖于云运营商——这是一个他们无法控制的因素。
Chhabra 引用 Signal 65 和 Futurum Group 的一项研究结果指出,在两年内,拥有一个本地部署的 token 工厂可能意味着成本降低高达87%。
Token 工厂带来更佳数据安全性
数据安全是推动“将人工智能带到数据旁,而非将数据送到人工智能处”这一转变的另一个因素。
Chhabra 说:“将人工智能智能体部署得更靠近用户,或者实际部署到单个设备上,可以有效限制该智能体的攻击面。”他补充说,这意味着与将数据发送给外部智能体相比,这种方式让人工智能智能体接触敏感系统的机会更少。
尽管与智能体人工智能相关的成本持续膨胀,亚太地区的客户仍在对此进行大量投资。Elmarji 表示,只有当公司开始审视被输入到人工智能系统中的数据时,对数据主权的担忧才会出现。
各公司仍在探索如何在不将敏感数据(如个人身份信息)暴露给外界的情况下,允许人工智能访问这些数据。这是一个非常现实的问题,因为数据驻留法规禁止数据离开一个国家的物理边界。
Elmarji 表示,他合作的大多数客户——从企业到政府——在权衡了速度和安全性之间的利弊之后,都正在建设或探索这类 token 工厂。
“保护您的知识产权需要付出什么代价?这个代价是否值得用牺牲速度来换取?大多数企业的回答都是‘绝对值得’。
Decoding Asia newsletter: your guide to navigating Asia in a new global order. Sign up here to get Decoding Asia newsletter. Delivered to your inbox. Free.
Copyright SPH Media. All rights reserved.
TRENDING NOW
Buyer for England striker Harry Kane’s former mansion must pay £3.4 million after abandoning deal
Ohmyhome Ltd sells real estate business for US$1 due to poor business and continued losses
Malaysian tycoon Vincent Tan’s sell-downs point to pruning rather than an exit plan
What’s wrong with Orchard Road? Experts weigh in on the street’s cachet and its future