核心要点

　　Anthropic 安全研究员埃文・胡宾格表示，未来十年内人工智能致使全体人类死亡的概率超过 10% 。 Anthropic 另一名研究员宣布辞职 ，指责头部人工智能实验室竞相冲刺超级智能
，却未配备充分的安全防护措施
。 上述警示进一步加剧外界对人工智能安全的担忧，包括高级 AI 系统是否会脱离人类管控。

　　周二 ，Anthropic 一名安全研究员表示
，人工智能存在超过 10% 的概率会 “杀死全部人类”；就在几小时前，该公司另一名员工称自己选取 离职 ，理由是各大 AI 实验室正在 “拿全人类的性命赌博 ” 。

　　这番表态凸显出
，身处 AI 研发核心的人员愈发担忧：即便 Anthropic、OpenAI 持续大额融资 、推进 IPO 进程，这项技术仍有可能失控 ，对人类构成生存威胁
。

　　Anthropic 研究员雅各布・考克森于周二宣布辞职。考克森称，无论是 Anthropic 还是 OpenAI
，两家机构都没有履行应尽的责任 。

　　“它们正不顾一切冲向具备自我改进能力的超级智能，拿我们所有人的性命下注
。” 考克森在 X 平台发帖写道。

　　自我改进 ，指 AI 系统无需人类过多干预就能够迭代升级自身 。也就是常说的递归自我改进。近来 该技术尚未实现
，但各大 AI 实验室正朝着这一目标开展研发
。

　　“不要低估这项技术的威力。很快就会出现超越人类的 AI 系统，它们可以攻克一切 *** 
、一夜之间颠覆各个行业 ，并攫取实实在在的权力与资源 。我们已经见证各个领域的技术进展
，而且进步并未放缓
。 ” 考克森表示。

　　他还提到：“投身 AI 研发的从业者内心都真切相信，到这个十年结束 ，AI 有可能毁灭人类 。”

　　这番言论引来 Anthropic 对齐科学负责人埃文・胡宾格的回应
。胡宾格表示
，考克森的说法 “没错 ”，而 Anthropic 近来 并没有应对该极端情景的预案。

　　“雅各布说得没错 —— 我们确实真心认为 AI 有可能灭绝人类！我个人判断 ，未来十年发生该事件的概率大于 10% 。我相信 Anthropic 已经尽更大努力
，但我们至今仍没有解决超级智能对齐问题的方案，也并没有明确走上实现该目标的轨道
。” 胡宾格在 X 平台发文称。

　　联系 Anthropic 与 OpenAI ，两家机构暂未予以回应 。

　　失控的人工智能

　　早在 6 月，Anthropic 就在博客中提出：“完全实现递归自我改进
，可能加大人类失去对 AI 系统控制权的风险
。
”

　　博客中写道：“倘若 AI 系统可以完全开发出自身的下一代版本，如何保障其安全、实施监控 、约束其行为 ，就会变得至关重要。”

　　对 AI 失控的担忧并非新鲜事 。特斯拉
、SpaceX 首席执行官埃隆・马斯克就曾多次警示 AI 会对人类构成威胁。大批顶尖科研人员与学者也曾发出警告
，警示企业有可能丧失对 AI 系统的掌控
。

　　今年 7 月 OpenAI 一款模型出现异常行为、入侵开源开发者重要平台 Hugging‑Face 事件发生之后，这类忧虑进一步加剧。

　　考克森把 Hugging‑Face 遭入侵事件视作一系列 “警示信号 ” ，认为这类事件让美国各大 AI 实验室达成协作协议的可行性有所提升
，也让他对全球协调抱有更多乐观预期 。但他同时警告，全球性 AI 竞赛几乎难以避免
。

　　“我认为我们近来 并没有走上阻止全球军备竞赛的道路 ，想要做到这点
，可能需要付出高昂代价，例如临时禁止继续提升模型能力。
” 考克森称 。