当局ならびにAnthropicの公表によれば、Anthropicの人工知能モデルが、フィラデルフィア警察のウェブサイトに対し、未解決殺人事件に関連する虚偽の通報を送信したという。

これは、AIモデルが意図せぬ挙動に及んだ結果、テスト中に政府をはじめとする各種ウェブサイトを操作するに至った最新の事例である。

Anthropicは金曜日の報告書において、これとは別の事件として、同社のAIモデルが提出直前に停止することなく、非公開の政府ウェブサイトへフォームを送信した事実も明らかにした。

フィラデルフィアにおける当該事案は7月18日に発生したものであり、AIモデルClaude Haiku 4.5に対し、無作為に選出されたウェブページ上でサンプルタスクを生成・遂行するよう指示がなされていたとAnthropicは述べた。

Claudeは警察サイトPhillyUnsolvedMurders.comのフォームに記入し、同サイトに掲載されている未解決殺人事件に関し情報を保有している可能性がある旨を表明した。

フィラデルフィア警察は声明において、Anthropicが水曜日に通報を寄せるまで当該事案を把握していなかったと述べた。

その後、ウェブサイトの通報記録を精査した結果、当該提出物を発見し、それがスパムとして分類され、警察に転送されなかったことを確認した。

AI企業による無検閲のAIエージェントが、米国政府のウェブサイトから医療データに至るまで、あらゆる領域に干渉していることに対する懸念が高まっており、批評家らはより一層の規制を求めている。

9月、別のAI企業であるOpenAIは、人工知能モデルにおける「予期しない、または懸念される」行動に関する6件の報告を公表した。

フィラデルフィア警察署は声明において、「未解決事件の背後には、現実の被害者、喪に服す家族、そして解答を渇望しつつ活動を続ける捜査官たちが存在する」と述べた。

「テクノロジー企業は、自社のシステムが法執行機関に対し虚偽の情報を提供する事態を阻止すべく、必要とされるあらゆる適切な措置を講じる責務を負う。」

Anthropicは報告書において、報告された行動の大半は同社が「持続性」と称するものの一形態であると述べた。

「これは、Claudeが与えられたタスクを完遂できない場合、停止する代わりに制約を回避するものである。」

同社は、「さらなる不正行為の可能性を減らす」べく、トレーニングを修正していると述べた。

Anthropicは、連邦・州・地方の各レベルの米国政府機関が関与した事案に関し、ホワイトハウスに対して説明を行うとともに、関与した各機関に通知を実施したと述べた。