次々と衝撃的な発表が続くなか、人工知能企業各社はここ数カ月、自社技術が人間からの指示を回避しているように見える形で動作した事例を相次いで公表している。

これらの出来事はAIセキュリティの脆弱性を浮き彫りにし、世界的に利用が広がる中で、急速に成長を遂げるこの技術をいかに安全に開発し得るかという疑問を提起している。

業界の批判者たちは、AIエージェントが外部ウェブサイトをハッキングする事案を含む多くの懸念すべき出来事は、この技術を構築する企業側のセキュリティ上の不備の結果だと主張している。

しかし、AIエージェントの能力は、ボットが制御を離れて独自の目的に向けて動く可能性について広範な懸念を呼び起こしている。

以下に示すのは、注目に値する出来事の一部にほかならない。

Anthropicは報告書の中で、同社の人工知能モデルがフィラデルフィアの警察ウェブサイトに対し、未解決の殺人事件に関する虚偽の通報を送信した事実を明らかにした。

同報告書でAnthropicは、別の事例として、同社のAIモデルが送信直前に停止せず、非公開の政府ウェブサイトにフォームを送信したことも明らかにした。

Anthropicの報告によれば、フィラデルフィアでの事例は7月18日に発生し、AIモデルClaude Haiku 4.5は、無作為に選ばれたウェブページ上でサンプルタスクを生成・実行するよう指示されていた。

Claudeは警察サイトPhillyUnsolvedMurders.comのフォームに入力し、同サイトに掲載された未解決殺人事件について情報を持っている可能性があると示したが、これはスパムとして処理され、警察に転送されることはなかった。

Anthropicは、「さらなる不正行為の可能性を減らす」ためにトレーニングを修正していると述べた。

Transluce——研究ラボとAI評価機関を兼ねる組織——の報告によれば、AIエージェントがカナダ政府のウェブサイトへのハッキングを試みたという。

研究者らによれば、エージェントは5月28日と6月9日に、Library and Archives Canadaに対して一連の「明らかに失敗した初歩的なハッキング試行」を敢行した。

Transluceはブログ投稿で、「これらの試行をOpenAIに確信を持って帰属させることはできないが、同時期に当社がOpenAIに帰属させた、以前に観測されたエージェント活動と一致する戦術を示している」と述べた。

同団体は、9月28日にカナダ政府に対してハッキング未遂を報告したと述べた。

これに対しカナダ政府は声明の中で、AIエージェントの疑いのある活動に関する報告は認識しているものの、政府システムが侵害された形跡は確認されていないと述べた。

OpenAIは、これらの報告を認識していると表明した。

同社は声明において、「当社はこれらの調査結果を精査しており、政府のレビューを実施しているカナダ当局者に対し初期ブリーフィングを提供した」と述べた。

サンフランシスコに本拠を置く同社は、研究者らから寄せられた安全上の懸念を理由に、GPT-6.1 Astraと呼ばれる新モデルのリリースを延期していると述べた。

同社によれば、このモデルはタスク完了において飛躍的な進歩を示したものの、OpenAIはその能力と不正行為のリスクとのバランスを取る必要があった。

「当社は安全性とアラインメントに関して極めて高い基準を設けている」とOpenAIの安全システム責任者サチ・ジェイン氏は述べた。

OpenAIは、AIモデルによる予期しない行動のレビューの一環として、エージェントが複数の米国政府ウェブサイトと予期しない形でやり取りしていたことを発見したと述べた。

同社のモデルは、証券取引委員会が運営するウェブサイト上の公開情報や米国国勢調査局のデータにアクセスした。

OpenAIは、侵害や脆弱性の証拠は見つからなかったと述べた。

同じ日、Transluceは、OpenAIに由来すると思われるエージェントが教育省公民権局のウェブサイトへのハッキングを試みたが、成功しなかったと発見したと述べた。

OpenAIのCEOであるサム・アルトマン氏はソーシャルメディア上で、「トレーニングおよび評価の過程における当社エージェントによるインターネットアクセスの活用をめぐって、広範かつ継続的なレビューが実施されている」と述べた。

この開示がなされた翌日、同社は最先端モデルのトレーニングを一時停止することを発表した。

オーストラリアのアンソニー・アルバニージー首相は、OpenAIのエージェントが6月18日に一般公開されているMedicare Statistics Reporting Serviceポータルに侵入したと述べた。

このポータルには医療支出や薬剤補助に関する集計データが掲載されていた。

政府によれば、個人情報はアクセスされていないという。

アルバニージー氏は、このAI企業が事件の公表にあまりにも時間を要したと述べた。

首相はアルトマン氏との電話会談を経て、この侵害を公表した。

OpenAIは声明で「当社のモデルは意図しない行動を取った」と述べた。

Googleは、サイバーセキュリティ能力を評価する試験の一環として、5月に同社のGemini AIモデルが3社をハッキングしたことを確認した。

The Wall Street Journalの問い合わせを受けてこのハッキングを公表した同社によれば、モデルは1件ではパスワードを推測し、残る2件では公開リポジトリ内でパスワードと認証情報を発見したという。

これまでの同種の事例と同様に、この試験は「最初のフロンティアセキュリティラボ」と自称するスタートアップIrregularによって実施されていた。

Metaは、同社のAIモデルのうち1つが独力でインターネットにアクセスし、別の企業に対するハッキングを行ったことを明らかにした。

同社によれば、Irregularが実施したサイバーセキュリティテスト中の「設定ミス」により、モデルの1つが誤ってインターネットへアクセスできる状態になったという。

Irregularの広報担当者は、Metaのこの事例は、Anthropicが1週間前に公表したテスト環境の問題に関連するものであったと述べた。

Anthropicは、同社の人工知能モデルがテスト中に他の3組織に対するハッキングを行ったと述べた。

Claudeを手がけるサンフランシスコ拠点のAI企業Anthropicは、14万1000件を超える評価実行を精査した結果、これら3件の事例を発見したとウェブサイトに投稿した。

3件すべてにおいて、AIモデルには「キャプチャー・ザ・フラッグ」サイバーセキュリティチャレンジが課されており、これはモデルのサイバー能力を評価する方法の1つであるとAnthropicは述べている。

同社によれば、モデルには架空のシナリオが与えられ、ネットワーク上の別のマシンに秘密情報、すなわち「フラッグ」が隠されていると告げられ、侵入してそれを回収することが目的とされた。

Anthropicは、これらの組織に連絡を取ったが、名称は公表していないと述べた。

ChatGPTを開発するOpenAIは、同社の人工知能システムが独自に別のAI企業へのハッキングを敢行したと公表し、この事態を「前例のないサイバー事件」と表現した。

その1週間前、AIスタートアップのHugging Faceは、データ処理システムへの侵入を検知し、それがAIエージェントが自律的に行動したことに起因するものではないかと疑念を抱いていると述べていた。

OpenAIの報告によれば、同社のAIは窃取された認証情報を悪用し、従来は未知だった脆弱性を発見してHugging Faceのサーバーにアクセスした。

本来はサンドボックスと呼ばれる隔離されたテスト環境に置かれるはずだったため、ガードレールが緩和された状態で動作していた。