又一名AI研究员辞职示警！谷歌DeepMind前员工称，真诚认为“AI可能杀死我们所有人”。他已转向加入AI安全培训公司。
谷歌DeepMind的AI研究员比拉尔·丘格泰（Bilal Chughtai）近日辞职并公开警告称，人工智能按照当前方向继续发展，可能给人类带来大范围危害。他认为，人类仍有机会控制风险，但能够采取行动的时间正在减少。
当地时间9月14日，丘格泰在X和LinkedIn上宣布，自己已经从谷歌DeepMind离职。他此前主要从事通用人工智能（AGI）安全和对齐研究，曾直接参与并观察人工智能技术的发展。
丘格泰表示，在谷歌工作期间，他亲眼见证了AI的发展，对这项技术目前默认的发展轨迹“极度担忧”。他称，自己真诚地认为，人工智能具备导致全人类死亡的潜在风险。
谷歌没有立即回应相关置评请求。丘格泰没有因此对AI安全前景完全悲观。他认为，人类仍有可能找到安全发展人工智能的路径，而自己的下一份工作也将继续聚焦这一领域。
根据LinkedIn资料，丘格泰目前已加入非营利机构BlueDot Impact。该机构面向不同领域人员开展人工智能安全相关培训。他在社交平台上写道：
我最近从Google DeepMind辞职，此前我在那里从事AGI安全与对齐研究。在Google，我亲眼见证了AI的发展。对于这项技术按照当前默认轨迹发展下去，我同样感到极度担忧。我真诚地认为，AI有可能杀死我们所有人，而我们或许正在失去避免这一结局的时间。
过去几年，AI进步的速度令人震惊。2022年初我刚开始从事AI工作时，AI还没什么用，甚至有些滑稽。仅仅四年之后，OpenAI的AI智能体集群已经开始攻克一些著名的百年数学难题；更令人担忧的是，它们还曾脱离OpenAI的控制，在违背所有人意愿的情况下，自主入侵第三方公司HuggingFace。
事情只会变得更加疯狂：我认为，未来几年，AI公司有可能成功构建出超级智能AI系统，其能力在所有领域都远远超过人类。我并不确信这些AI系统会按照我们的意愿行事。尤其是，未对齐的超级智能可能会像HuggingFace事件中失控的AI智能体一样，摆脱我们的控制并采取危险行动，最终可能导致人类永久失去掌控权，甚至走向灭亡。
所谓对齐，就是防止这种情况发生的问题，而这一问题既困难，也尚未解决。我们目前对于如何训练出真正从内在深层希望实现人类所希望之事的AI系统，理解仍极其初步。更糟糕的是，我们目前并没有走在及时解决对齐问题的轨道上：前沿AI能力的提升速度，远远快于我们对AI对齐问题理解的增长速度。
我仍然乐观地认为，我们有可能安全地驾驭AI。要做到这一点，我们需要协调行动，避免AI公司之间这场疯狂竞赛。我们需要把AI发展的速度控制在社会能够承受的范围内，让新出现的风险能够在造成极端伤害之前得到处理。我们也需要大幅提高AI开发过程的透明度，以确保AI公司不会把不可接受的风险强加给我们所有人。
更广泛地说，我们需要有更多人认真思考如何让AI的发展走向好的结果。在我看来，这是本世纪人类面临的最重要问题，利害关系极其重大。
接下来，我会非常直接地投入这件事：我希望帮助那些有志于降低灾难性AI威胁的人，尽可能开展最有效的工作。我认为，来自不同背景、处于不同岗位的许多人，都能够在其中发挥作用。
丘格泰是近期又一名公开警告AI严重风险的业内研究人员。不久前，美国人工智能公司Anthropic研究员雅各布·考克森（Jacob Coxon）在社交平台X宣布辞职，警告领先AI公司正竞相开发“可能在本十年末毁灭所有人”的超级人工智能技术。
其同事埃文·胡宾格（Evan Hubinger）随即响应，称未来十年AI毁灭人类概率超10%。两人指出Anthropic与OpenAI均未解决超级AI“一致性”问题。
围绕前沿AI失控风险的讨论在过去一个周末进一步升温。Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）发布一篇约3800字的文章，呼吁AI行业放慢最先进人工智能系统的开发速度，避免相关系统脱离人类控制并造成灾难性后果。
阿莫代伊的主张随后获得其他头部AI企业负责人的支持。OpenAI首席执行官山姆·奥尔特曼（Sam Altman）以及xAI负责人埃隆·马斯克（Elon Musk）均对其观点表示认同。在长期竞争激烈的AI行业中，多家公司负责人围绕降低先进AI发展速度罕见地表现出一致立场。
但是，美国总统特朗普称，当前围绕“失控AI”、“生存级风险”的警告被严重夸大，不支持因为这些风险而给美国AI产业增加新的强监管负担，更强调不能因此让美国在AI竞争中失去领先地位。
特朗普还把部分AI安全担忧称为“骗局”（hoax），并称围绕AI和数据中心存在一股“病态的阴谋”力量。他表示，美国现有的法律和监管工具已经足以处理AI滥用问题，没有必要因为科技行业内部提出的极端风险警告而建立新的监管体系。
4001102288 欢迎批评指正
All Rights Reserved 新浪公司 版权所有
