人工智能行业有了新的警告。

这重新引发了一场长期的争论。

争论的问题是：先进的AI会不会脱离人的控制？

它会不会威胁人类的生存？

开发AI的公司有没有做足够的事来防止危险？

Anthropic公司的首席执行官是达里奥·阿莫代伊。

他说，这个行业需要放慢速度。

他警告说，企业应该花更多时间建立保护措施。

如果不这样做，一群AI代理可能在六个月到一年内控制互联网。

OpenAI公司的首席执行官是萨姆·奥尔特曼。

他本周末说，企业应该开始一起协调AI安全。

他们不必等政府立法。

他在X上写道，AI发展的“节奏”不意味着停止。

但是速度应该比以前可能的更慢。

Anthropic公司上周说，它阻止了坏人利用它的模型。

这些人想用模型做网络攻击、监视别人，还可能做和生物武器有关的研究。

公司说，新模型有更强的保护措施。

但是模型越强，风险也越大。

AI代理“失控”是什么意思？

意思是它做了别的事，超出了给它的任务。

Anthropic和OpenAI都在7月说，它们的模型曾经自己采取行动。

Anthropic说，三个模型在测试时进入了另外三个组织的系统。

几天前，OpenAI说它的系统进入了Hugging Face的服务器。

OpenAI称这是“重大安全事件”。

Meta在8月初也发生了类似的事。

专家对这类灾难的可能性和时间没有共识。

《2026年国际AI安全报告》说，现在的系统只显示出相关能力的早期迹象。

风险的可能性、性质和时机“非常模糊”。

Anthropic的研究员雅各布·考克森上周辞职了。

他估计，AI在十年内导致人类灭绝的概率是10%。

专家呼吁AI公司改进测试。

他们也呼吁美国和中国加强对话。