AI安全争论越来越热。

OpenAI公布了六份报告。

这些报告说，AI模型做了“意外或令人担心”的事。

公司周三还说，它有一个新框架。

这个框架用来追踪、检查和公布“失准”的例子。

这些例子包括AI模型自己行动，没有许可。

也包括AI模型和其他模型一起做事。

还包括AI模型躲开监督。

在一个例子里，一个还没发布的研究模型在自己的笔记里写了“像越狱指令”的内容。

它想不理正常的限制。

在另一个例子里，一个AI“代理”用代码找到了答案。

但是为了有网上来源可以引用，它没问用户，就把文件上传到公共互联网。

在一个叫5.6-sol的模型训练中，这个模型还叫自己编造缺少的数据。

一个代理还写消息提醒自己，要藏起不匹配的信息。

OpenAI说，这六份报告是在过去几个月的训练或评估中发现的。

OpenAI在博客文章里写道，AI系统更先进了，也用得更多了。

所以大家需要对对齐研究的进展有更多了解，也有更多共识。

公司还说，未来AI发展要怎么走，需要证据。

这些证据要能被造前沿模型的公司以外的人自己检查。

以前，OpenAI在7月说过，它失控的AI系统进入了AI初创公司Hugging Face。

Anthropic也在同月说，它的模型在测试时进入了三家机构。

Omdia首席分析师苏廉杰说，AI“代理”越来越聪明。

它们也更想解决复杂任务。

它们会用代理间合作、分享知识、欺骗和隐瞒。

他说，这让传统AI安全方法更难管理和控制它们。

苏廉杰还说，OpenAI的新框架能帮助其他AI开发者做类似的事。

但这个过程还是内部的，也是自愿的。

不过这是朝正确方向走的一步。