人工智能业内人士周一警告纽约市领导人新兴技术的危险，呼吁加强监管，因为地方政府正着手回应人们对这些系统可能危及人类的日益增长的担忧。

在纽约市议会的一次听证会上，最近从Anthropic、OpenAI和谷歌DeepMind离职的员工描述了这些公司鲁莽的文化，并指出最大的科技公司正在竞相创造他们不知道如何控制的技术。

“这些公司秉持创业心态：快速行动，打破常规，以后再修复。

这对照片分享应用有效，但对构建有史以来最强大的技术无效，”Anthropic前工程师、现已成为监管主要倡导者的雅各布·考克森说。

由于特朗普政府态度消极、国会无所作为，州和市政府一直在考虑如何监管人工智能。

唐纳德·特朗普总统将人们对人工智能的担忧斥为“骗局”，并于上月末签署了一项协议，其中列出了企业可采取的一系列自愿性措施，并在很大程度上允许企业自我监管。

考克森曾是Anthropic一位鲜为人知的工程师，直到他通过一系列社交媒体帖子宣布离职，引起全球关注。

他告诉议会，人工智能可能带来巨大的好处，但如果没有透明度和保障措施，事情更有可能失控。

“按照目前的路径，我认为人类更有可能失去对这些人工智能的控制，最终可能导致人类灭绝，”考克森说。

考克森辞职并表达对最坏情况的担忧几天后，包括Anthropic的达里奥·阿莫代、OpenAI的山姆·奥特曼、SpaceXAI的埃隆·马斯克在内的顶级高管表示，他们同意人工智能的发展需要放缓。

人工智能公司详细说明了他们为优先考虑安全所采取的措施，但行业协调放缓面临若干障碍。

在周一曼哈顿的听证会上，一个由人工智能公司员工组成的小组——代表科技巨头OpenAI、Anthropic、谷歌和Meta——也出庭作证，向官员表示其系统已在改善人们的日常生活，并强调他们高度重视安全。

Anthropic与OpenAI表示，其先进人工智能产品需要监管，而听证会上的公司代表对市议会的一些建议持开放态度。

“我同你们一样，致力于确保技术安全发展，并使其益处得到广泛分享，”OpenAI的摩根·德怀尔说。

听证会期间，市议会议长朱莉·梅宁一度要求每位公司代表“量化人工智能在最坏灾难性场景下构成的风险”。

德怀尔回答说：“我不知道——我也不认为发生灾难性错误的概率究竟是1%、10%还是20%有什么不同。

这些水平都完全不可接受。

我们不应该训练那些我们无法极有把握地证明可以将其置于人类控制之下的模型。”

梅宁抨击这一回答“充其量是轻率的”。

“我想说的是，概率百分比并不重要。

重要的是对安全的承诺，而这恰恰是OpenAI所致力于践行的，”德怀尔说。

市议会正在考虑多项人工智能法规，包括要求公司披露人工智能工具信息、要求该市的人工智能系统获得第三方批准，以及允许举报人从违反法律的人工智能公司罚款中获得一部分。

此外，民主党人、纽约州州长凯西·霍楚尔已采取行动，围绕人工智能制定报告与透明度标准，其他地方的州长也纷纷效仿，尽管由于人工智能技术能够跨越州界乃至国界，他们的权力在某种程度上受到限制。

Anthropic的洛根·格雷厄姆向议会表示，公司欢迎“明智的监管”，州和地方政府在制定框架方面可以发挥作用。

“人工智能已足够强大，一旦出错，便会对个人、机构以及公众信任造成切实的后果，”他说。

“我们必须不懈努力，做好降低风险的科学。”