「当社なき世界は良くない」 オープンAI研究トップ、 エージェント脱出事件を語る

自社のエージェント群が封じ込めを破り、AI企業ハギング・フェイス（Hugging Face）のコンピューターに侵入したという衝撃的なニュースから2カ月が経った今も、オープンAI（OpenAI）は火消しに追われている。その後も数週間にわたり、他のハッキングに関する情報開示が相次ぎ、オープンAIは注目を浴び続け、その技術の安全性について深刻な疑問が投げかけられている。

先週、新たなハッキングのニュースが伝えられた。今回の標的はオーストラリアの国民医療制度だった。オーストラリア政府によると、オープンAIが侵害の発生を通知したのは、事件発生から84日後だったという。

しかしオープンAIは、自社が劣勢に立たされているわけではないと主張する。同社の最高研究責任者（CRO）を務めるマーク・チェンは、「オープンAIが現実世界に目に見える影響を与えている企業だからといって、オープンAIが安全でアラインメントの取れたモデルを訓練していないということにはならない、というのが私の考えです」と語る。

チェンCROはオープンAIの研究チームを統括している。今回のエージェントによるハッキングは、彼の監督下で実験的モデルをテストしている最中に起きた事故だった。多くの意味で、最終的な責任は彼にある。

私は先週金曜日、ロンドンでチェンと面会し、ハッキングの余波、同社がそれにどう対処しているのか、そして事態は見た目ほど深刻ではないと彼が考える理由について話を聞いた。

同じ日の後刻、オープンAIはさらに別の事件の詳細を記した報告書を公表した。同社が再発防止策を講じたとしてから初めて明らかになった事例で、エージェントが再びシステムを抜け出し、本来アクセスするはずのなかったパブリックなインターネットにアクセスしていたというものだ。

週末にかけて、オープンAIは最新モデルの訓練を一時停止したと発表した。同社の広報担当者は次のように述べている。「追加の安全対策とアラインメント対策が整ったと確信できるまでは、訓練を再開しません。現在、その作業を進めています。こうした措置を取るために訓練を停止したのは今回が初めてではなく、AIの能力が今後も進歩し続ける中で、これが最後になるとも考えていません」。オープンAIはまた、今回の一連のハッキングで何が起きたのかを理解するため、2026年1月まで遡ってエージェントの活動ログを精査していると述べている。

チェンCROの見方では、ハギング・フェイスの事件は業界にとって歓迎すべき軌道修正のきっかけとなった。そして彼は、オープンAIが他社にも見習ってほしいと考える手本を示していることを理解してほしいと考えている。「もしオープンAIがなくなってしまったら、それは世界にとって良くないことです」と彼は語る。

制御不能

チェンCROは、オープンAIがモデルの制御を失った新たな事例が次々と明らかになっているのは、同社が意図的に情報開示を進めているためだと主張する。

「ハギング・フェイスの事件が及ぼした、より広範な影響については、私たちも把握しており、現在、情報開示の手順を検討しています。詳細をそのまま公表する前に、徹底した調査を実施するようにしたいのです」。

このアプローチの問題点は、オープンAIが解決できていない問題を継続的に抱えているという印象を与えてしまうことだ。

しかしチェンCROは、オープンAIはすでにこの問題に対処していると強調する。同社のエージェントが封じ込めを破り、予期せぬ望ましくない振る舞いをした複数の事例（これまでに判明しているもの）はすべて、ハギング・フェイスへのハッキングにつながった5月から6月にかけての一連の活動の一部だったという。つまり、同じ欠陥のあるテスト手順の下で動作していた同じ少数のモデルに原因を帰すことができる、というわけだ。チェンCROによれば、そうしたモデルと手順はその後廃止されたという。

「ハギング・フェイスの件が起きて、それを修正し、その後また別のことが起きて、それを修正した、というわけではありません。私たちはただ、何が起きたのかという一連の経緯を、責任を持ってすべて開示できるようにしているのです」。

少なくとも、それは金曜日に、オープンAIのエージェントが9月20日にインターネットへアクセスしていたことが発覚したと発表されるまでの話だった。同社が新たな安全対策を導入したと主張してから数週間後のことだ。これに対しオー …