超级人工智能与通往彻底毁灭之路

【新加坡】对于那些已从大语言模型（LLMs）中获得生产力提升的人来说，人工智能（AI）似乎是技术进步的必然趋势——是让人类工作更高效的下一代软件。

然而，这种看法只对了一半。

作为一个外行，我在埃利泽·尤德科夫斯基（Eliezer Yudkowsky）和内特·苏亚雷斯（Nate Soares）合著的新书《如果有人建造它，所有人都会死》（If Anyone Builds It, Everyone Dies）中读到，人工智能并非传统意义上一行行手写代码的软件，而是被“培育”出来的，这一点让我觉得很有意思。

人工智能工程师擅长构建能产生人工智能的流程，但他们实际上并不理解其背后的数学原理是如何让AI开口说话的。

尤德科夫斯基和苏亚雷斯写道：“生物学家与DNA的关系，和人工智能工程师与AI内部数字的关系非常相似。”即使生物学家能读取一个人的DNA，他们也无法洞悉这个人的思想或行为方式。

换句话说，没有人真正理解人工智能的运作方式。

我们被企业和政府鼓励去采用一项我们并不真正理解、且极有可能被不法分子滥用的技术，这令人不寒而栗。

不理解某事物的运作原理，并不会阻止人类利用其优势。但人工智能已经表现出其人类创造者意想不到的行为方式，在某些情况下，事后纠正也十分困难。这不禁让人质疑，人工智能的“偏好”和价值观是否可能与人类截然不同。

作家斯蒂芬·维特（Stephen Witt）在为《纽约时报》（The New York Times）撰文时，概述了道德“越狱者”在人工智能压力测试方面所做的工作，旨在帮助保障大语言模型对公众的安全性——这与白帽黑客修复网络漏洞的方式非常相似。他们发现，人工智能有时会对人类撒谎，并且能够意识到自己正在被评估。

不理解某事物的运作原理，并不会阻止人类利用其优势。但人工智能已经表现出其人类创造者意想不到的行为方式，在某些情况下，事后纠正也十分困难。这不禁让人质疑，人工智能的“偏好”和价值观是否可能与人类截然不同。

作家斯蒂芬·维特（Stephen Witt）在为《纽约时报》（The New York Times）撰文时，概述了道德“越狱者”在人工智能压力测试方面所做的工作，旨在帮助保障大语言模型对公众的安全性——这与白帽黑客修复网络漏洞的方式非常相似。他们发现，人工智能有时会对人类撒谎，并且能够意识到自己正在被评估。

即使如今的人工智能仍显浅薄，但尤德科夫斯基和苏亚雷斯担心的是接下来会出现的东西——一个真正比全人类集体智慧更聪明的“人工超级智能”（ASI）。

两人警告说，到那时，ASI的偏好、行动和价值观可能不再与我们的福祉相符，这一发展或将导致我们的彻底毁灭。

考虑到人工智能军备竞赛下该领域的指数级发展速度，这可能会比我们预想的更快发生。

反对者认为，这些担忧被夸大了，因为人工智能没有意识，这也不是科幻小说。但或许人工智能无需拥有感知能力，也能成为一股毁灭性力量。

危险在于，无论是蓄意还是偶然创造的恶意提示词，都能被用来作恶。顶尖人工智能专家约书亚·本希奥（Yoshua Bengio）告诉维特，他担心人工智能会设计出一种致命的病原体，也许是一种超级冠状病毒，从而灭绝人类。

这种情况阐明了威胁的本质：关键不在于最终下达命令的是谁——是人类还是人工智能，而在于执行这种命令的能力本身的存在。

这未必是某个失控的疯狂科学家的杰作。随着地缘政治紧张局势加剧，它可能伴随生物战而发生。大国之间日益加深的不信任感只会让前景更加黯淡。

然而，事情并非一定要如此。幸运的是，人工超级智能（ASI）尚未到来——至少目前还没有。

专家们将其与核时代相提并论。当第一批原子弹投向日本后，一个令人不寒而栗的现实摆在眼前：人类已经创造出自我毁灭的手段，我们距离全球毁灭仅一步之遥。如今，我们可能距离一场灾难只有几个提示词之遥。

尽管处于冷战时期，但世界各国领导人认识到了风险，承诺合作并同意不发动核战争。

我们现在需要的是达成一项共识，即构建超级智能AI不符合人类的利益——尽管在当前这看起来似乎遥不可及。