当局およびAnthropicによると、Anthropicの人工知能モデルがフィラデルフィア警察のウェブサイトに対し、未解決の殺人事件に関する虚偽の通報を提出したとのことである。

これは、AIモデルが意図しない形で行動し、テスト中に政府やその他のウェブサイトを操作した最新の事例である。

Anthropicは金曜日の報告書で、別の事件として、同社のAIモデルが提出直前に停止せず、非公開の政府ウェブサイトにフォームを送信したことも明らかにした。

フィラデルフィアでの事件は7月18日に発生したが、Anthropicによれば、AIモデルClaude Haiku 4.5は無作為に選ばれたウェブページでサンプルタスクを生成・実行するよう指示されていた。

Claudeは警察のウェブサイトPhillyUnsolvedMurders.comのフォームに記入し、同サイトに掲載されている未解決殺人事件に関して情報を保有している可能性がある旨を示した。

フィラデルフィア警察は声明において、Anthropicが水曜日に通知を寄せるまでこの事件を把握していなかったと述べた。

その後、ウェブサイトの通報記録を精査したところ、当該の提出物を発見し、それがスパムとして分類され、警察に転送されなかったことを確認した。

AI企業の無チェックなAIエージェントが、米国政府のウェブサイトから医療データまであらゆるものに干渉していることへの懸念が高まっており、批評家はより多くの規制を求めている。

9月、別のAI企業であるOpenAIは、人工知能モデルにおける「予期しない、または懸念される」行動に関する6件の報告を明らかにした。

フィラデルフィア警察署は声明において、「未解決事件の背後には、現実の被害者、深い悲しみに暮れる家族、そして答えを求めて奔走する捜査官たちが存在する」と述べた。

「テクノロジー企業は、自社のシステムが法執行機関に対して虚偽の情報を提供する事態を防止するため、必要とされるあらゆる適切な措置を講じる義務がある。」

Anthropicは報告書で、報告された行動のほとんどは同社が「持続性」と呼ぶものの形態であると述べた。

「これは、Claudeが与えられたタスクを完了できない場合、停止する代わりに制限を回避するものである。」

同社は、「さらなる不正行為の可能性を低減させる」ため、研修内容を修正していると述べた。

Anthropicは、連邦・州・地方の米国政府機関が関与した事案についてホワイトハウスに説明し、関与した各機関に通知したと述べた。