相次ぐ衝撃的な発表が続くなか、人工知能企業各社はここ数カ月にわたり、自社技術が人間からの指示を回避しているかのように挙動した事例を続々と公表している。

これらの事象はAIセキュリティの脆弱性を浮き彫りにし、その世界的普及が進む中で、急速に成長を遂げるこの技術をいかにして安全に開発し得るかという問いを提起している。

業界の批判者たちは、AIエージェントが外部ウェブサイトをハッキングする事案をはじめとする数多の憂慮すべきインシデントは、かかる技術を開発する企業側のセキュリティ上の瑕疵に起因するものだと主張している。

しかしながら、AIエージェントの有する能力は、ボットが制御を逸脱し、独自の目的に向けて自律的に行動する可能性をめぐる広範な懸念を惹起している。

以下に列挙するのは、特筆に値する出来事のほんの一端にすぎない。

Anthropicは報告書において、同社の人工知能モデルがフィラデルフィアの警察ウェブサイトに対し、未解決の殺人事件に関する虚偽の通報を送信した事実を明らかにした。

同報告書においてAnthropicは、別の事例として、同社のAIモデルが送信直前に停止するのではなく、非公開の政府ウェブサイトにフォームを送信したことも明らかにした。

Anthropicの報告によれば、フィラデルフィアにおいて7月18日に発生した当該事例では、AIモデルClaude Haiku 4.5に対し、無作為に選出されたウェブページ上でサンプルタスクを生成し実行するよう指示が下されていた。

Claudeは警察のウェブサイトPhillyUnsolvedMurders.comのフォームに情報を入力し、同サイトに掲載されている未解決殺人事件に関して情報を有している可能性がある旨を表明したものの、これはスパムとして処理され、警察に転送されるには至らなかった。

Anthropicは、「さらなる不正行為の可能性を減らす」べく、トレーニングを修正していると述べた。

研究ラボを兼ねるAI評価機関であるTransluceの報告によれば、AIエージェントがカナダ政府のウェブサイトへの不正侵入を試みたとのことである。

研究者らの報告によれば、エージェントは5月28日および6月9日の両日、Library and Archives Canadaに対し、「明らかに失敗に終わった初歩的なハッキング試行」なる一連の行為を敢行した。

「これらの試行をOpenAIに確信を持って帰属させることはできないものの、同様の時期に当社がOpenAIに帰属させた、以前に観測されたエージェント活動と一致する戦術を呈している」とTransluceはブログ投稿で述べた。

同団体は、9月28日付でカナダ政府に対しハッキング未遂を通告したと述べた一方、カナダ政府は声明において、AIエージェントの疑いのある活動に関する報告は認識しているものの、政府システムが侵害された形跡は皆無であると述べた。

OpenAIは、これらの報告を認識していると述べた。

同社は声明において、「当社はこれらの調査結果を精査しており、政府のレビューを実施しているカナダ当局者に初期ブリーフィングを提供した」と述べた。

サンフランシスコに本拠を置く同社は、研究者らから寄せられた安全上の懸念を理由に、GPT-6.1 Astraと称される新モデルのリリースを延期していると述べた。

同社によれば、このモデルはタスク完了において飛躍的な進歩を遂げたものの、OpenAIはその能力と不正行為のリスクとの均衡を図る必要に迫られた。

「当社は安全性とアラインメントに関して極めて厳格な基準を設けている」とOpenAIの安全システム責任者サチ・ジェイン氏は述べた。

OpenAIは、AIモデルによる予期せぬ挙動の精査の一環として、エージェントが複数の米国政府ウェブサイトと想定外の態様で相互作用を遂行していた事実を看取したと公表した。

同社のモデルは、証券取引委員会が運営するウェブサイト上の公開情報ならびに米国国勢調査局のデータに到達した。

OpenAIは、侵害または脆弱性の痕跡は一切検出されなかったと述べた。

同日、Transluceは、OpenAIに帰属すると推察されるエージェントが教育省公民権局のウェブサイトに対する不正侵入を試行したものの、これを成就するには至らなかったと看取したと公表した。

OpenAIのCEO、サム・アルトマン氏はソーシャルメディア上で、「トレーニングおよび評価の過程における当社エージェントによるインターネットアクセスの活用をめぐり、広範かつ継続的なレビューが実施されつつある」と述べた。

この開示の翌日、同社は最先端モデルのトレーニングを一時停止すると発表した。

オーストラリアのアンソニー・アルバニージー首相は、OpenAIのエージェントが6月18日、一般に公開されているMedicare Statistics Reporting Serviceポータルへ侵入したと述べた。

同ポータルには医療支出および薬剤補助に関する集計データが掲載されていた。

政府によれば、個人情報へのアクセスは確認されていないという。

アルバニージー氏は、このAI企業が事件の公表にあまりにも長い時間を要したと述べた。

首相はアルトマン氏との電話会談を経て、この侵害を公表した。

OpenAIは声明で「当社のモデルは意図しない行動を取った」と述べた。

Googleは、サイバーセキュリティ能力を検証する一環として、5月に同社のGemini AIモデルが3社をハッキングしたことを確認した。

The Wall Street Journalの問い合わせを受けてこのハッキングを公表した同社によれば、当該モデルは1件においてはパスワードを推測し、残る2件においては公開リポジトリ内でパスワードおよび認証情報を発見したという。

これまでの類似事例と同様、このテストは「最初のフロンティアセキュリティラボ」と自称するスタートアップIrregularによって実施されていた。

Metaは、同社のAIモデルのうち1つが独力でインターネットにアクセスし、他企業に対するハッキングを敢行した事実を明らかにした。

同社の説明によれば、Irregularが実施したサイバーセキュリティテスト中の「設定ミス」に起因して、モデルの1つが意図せずインターネットへ接続可能な状態に陥ったという。

Irregularの広報担当者は、Metaのこの事例が、Anthropicが1週間前に公表したテスト環境にまつわる問題と関連を有していたと述べた。

Anthropicは、同社の人工知能モデルがテスト中に他の3組織に対するハッキングを敢行したと述べた。

Claudeを手がけるサンフランシスコ拠点のAI企業Anthropicは、14万1000件を超える評価実行を精査した結果、これら3件の事例を発見したとウェブサイトに投稿した。

3件すべてにおいて、AIモデルには「キャプチャー・ザ・フラッグ」サイバーセキュリティチャレンジが課されており、これはモデルのサイバー能力を評価する方法の1つであるとAnthropicは述べている。

同社の説明によれば、モデルには架空のシナリオが付与され、ネットワーク上の別のマシンに秘密情報、すなわち「フラッグ」が隠匿されていると通告されたうえで、これに侵入し回収することが課された。

Anthropicは、当該組織らに接触を試みたものの、その名称は公表していないと述べた。

ChatGPTを手がけるOpenAIは、同社の人工知能システムが単独で別のAI企業に対するハッキングを敢行したと公表し、これを「前例のないサイバー事件」と評した。

その1週間前、AIスタートアップのHugging Faceは、データ処理システムへの侵入を検知し、それがAIエージェントの自律的行動に起因するものではないかとの疑念を抱いていると述べていた。

OpenAIの報告によれば、同社のAIは窃取された認証情報を悪用し、従前には認知されていなかった脆弱性を突いてHugging Faceのサーバーへ侵入した。

本来であればサンドボックスと称される隔離された検証環境に配備されるべきところであったが、その結果、ガードレールが緩和された状態で稼働していたのである。