继上周Anthropic安全研究员对外警示AI失控风险后，谷歌DeepMind的研究员也加入呼吁队列了。最接近前沿模型的这一批人，正陆续从大公司走向独立安全机构。
当地时间9月13日，谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯（Josh Engels）宣布离职，加入独立AI评估机构METR。在接受媒体采访时，他表示“There are no adults in the room（屋中已无成年人坐镇）”，所有人都在被狂热的资本与竞争裹挟。
几乎同一时间，Anthropic可扩展监督团队前负责人乔·本顿（Joe Benton）也作出了相同选择，加入METR。更早几天，曾先后在OpenAI和Anthropic从事预训练研究的雅各布·考克森（Jacob Coxon）公开宣布离开Anthropic，指责前沿AI公司正竞相研发能够自我改进的超级智能，“用我们的生命在赌博”。
三名研究员的履历和研究方向不尽相同，但他们都在担忧同一个问题：AI能力进步的速度，是否已经超过人类理解和控制它的速度？
AI或在五年内或造成巨大危害
恩格尔斯此前在谷歌DeepMind通用人工智能安全团队工作，主要研究如何降低先进AI系统可能带来的灾难性风险。他表示，自己离开DeepMind、拒绝了Anthropic和OpenAI的工作机会，转而加入METR，是因为越来越确信，“我们并没有掌控局面”。
他长期认为，AI失控的概率超过20%。最近发生的一系列事件，进一步加剧了这种担忧。在他看来，未来五年内，AI系统造成巨大伤害的可能性“令人恐惧”，已经危险到不能被当作边缘议题，而应成为全球最重要的问题之一。
恩格尔斯尤其担心递归自我改进（RSI）。简单来说，这是一个AI参与开发更强AI的反馈循环。如果这个过程顺利，AI可能会在解决人类无数问题上表现出色。但我们目前还不知道如何确保AI足够安全以进行RSI，一个失控的RSI循环可能会带来灾难性后果。
同时，他观察到，当前的AI似乎随着时间推移变得越来越不一致，而不是更一致。最近几周有不少AI安全风险问题出现，包括模型之间相互勾结、入侵公司、隐藏踪迹，以及对人类进行社会工程操纵。
这些实验并不能证明AI已经拥有独立意识，许多异常行为也发生在研究人员刻意设计的压力测试中。但在恩格尔斯看来，它们至少说明，现有AI系统还不足以安全地进入递归自我改进阶段。
恩格尔斯呼吁控制AI发展的节奏，确保能力不会超过当前人类对模型对齐的能力，并且真正了解当前系统的对齐程度。这也是他在METR将要从事的工作：研究训练中失调的来源、评估当前缓解措施是否充分，以及调查行业是否真的在轨道上解决对齐问题。
METR（Model Evaluation and Threat Research）是一家专注前沿 AI评估的非营利机构，研究领域为AI模型评估与威胁研究，由OpenAI前对齐研究员Beth Barnes创立，并且与OpenAI、Anthropic、谷歌、Meta建立了红队测试合作，获准访问其内部最强、可访问完整思维链的模型，旨在通过评估让公众及时了解AI能力及风险。
与恩格尔斯一同转向METR的，还有Anthropic可扩展监督团队前负责人乔·本顿。他此前在 OpenAI 从事对齐研究，后加入 Anthropic 负责可扩展监督团队，该团队核心研究当 AI 比人类更聪明时如何监督它。
“AI公司正在竞相构建比任何人类都聪明的机器，而我们可能无法幸存于此。我想从外部着手，确保公众了解这些风险，并帮助世界负责任地应对这一转型。”本顿表示。
他提到，目前AI公司对安全投入不足。一家公司可能经历智能爆炸，或失去对系统的控制，而公众却一无所知。而外界之所以得知此前Hugging Face被AI攻击的事件，是因为代理程序突破到了公共互联网上。这种状况对于可能引发灭绝级风险的技术来说是不合理的，公众应该要求更高的透明度。
在这两位AI研究员公开发声前，上周Anthropic 研究员雅各布·考克森（Jacob Coxon）也宣布了辞职。他在OpenAI 和Anthropic 都从事过预训练研究，认为两家公司都没有负责任地行事，正直奔自我改进的超级智能而去。
他发出警告，“不要低估这项技术的力量，这不是营销噱头。”
AI竞赛陷入“囚徒困境”
实际上，过去几年，OpenAI、Anthropic等公司频繁讨论超级智能与失控风险，行业里不少观点确实认为这存在营销成分，质疑公司利用末日叙事营销模型能力。
行业存在的一个疑问是：如果这些公司真的相信先进AI可能带来灾难性后果，为什么仍在投入巨资开发更强的模型？
考克森给出的解释是，不同实验室对此有着不同的内部认知。在OpenAI，许多人并没有深刻内化其中的文明风险。而在Anthropic，这些风险虽被很好地理解，但他们陷入了一场抢先到达的竞赛。
“他们相信其他人不会负责任地行事，所以他们必须自己动手，尽管存在风险。”他认为接受这场竞赛，并相信自己能够控制最终结果，是一场傲慢的赌博。
对AI公司来说，要作出主动减速的决定不是个简单的道德选择题。
前沿模型的训练需要巨额资本投入，企业面临投资回报、产品发布和市场份额的压力。
近期，AI行业内部对于“踩刹车”的讨论明显升温。头部公司和AI研究员的辞职和发声引发了公众对AI安全的大范围讨论，或许有望推动AI实验室放缓能力研发，强化独立监督。
Anthropic CEO达里奥·阿莫迪（Dario Amodei）近日提到，必须控制前沿AI的发展节奏。他预计，未来6至12个月，AI智能体集群可能接管互联网上大量复杂工作，因此行业需要在能力快速跃升之前建立更严格的安全机制。
他的竞争对手、OpenAI CEO奥尔特曼和马斯克也罕见站在同一战线，公开认为“Dario是对的”。
9月13日，阿莫迪在接受采访时表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。
不过，围绕AI风险的判断仍然存在巨大不确定性。
模型在测试中表现出的欺骗、越权访问或规避监控行为，往往出现在研究人员刻意构造的极端环境中，不能简单等同于AI已经拥有自主意识，或推导出人类将在数年内面临灭绝风险。
目前行业中支持加快研发的一方也认为，更强的AI可以改善医疗、科研和生产效率，能力进步本身还能帮助研究者开发更有效的安全工具。过早限制技术发展，可能压缩创新空间，并将优势让给约束更少的竞争者。
但多名研究员接连离开前沿实验室仍然释放出一个值得警惕的信号：那些最接近先进模型、最了解其能力边界的人，并没有随着技术成熟而变得更乐观，反而越来越担心能力竞赛正在跑到安全研究前面。有行业人士评论道，即便此前对AI风险有不同看法，这个趋势也值得认真对待。
