米国がAI開発を減速→中国がAIで先行してしまう問題　どう対策？ Anthropic CEOの回答は

　米国がAI開発を減速すれば、中国が先行するのではないか。Anthropicの最高経営責任者（CEO）、ダリオ・アモデイ氏は、開発の減速を訴える論考「We Must Pace the Frontier」で、この懸念への対策を示した。対中規制で技術的な差を広げ、米国が安全対策に時間をかける余地を確保するという。

Thomas Fuller/SOPA Images/LightRocket via Getty Images
※クリックすると拡大画像が見られます

　同氏が懸念するのは、米国が減速する間に中国側が先行し、民主主義国に軍事的な優位を得ることだ。米国が安全対策に時間をかけられる範囲は、中国との差に制約されると論じた。

対中規制で米国が減速できる余地を確保

　具体策には、先端AIチップや半導体製造装置の対中販売の禁止、密輸や中国から国外のデータセンターへの遠隔アクセスの取り締まりを挙げた。他社モデルの出力から学習する「蒸留」の無断実施への対策や、モデルの盗難防止も求めている。蒸留によって、後発企業が独自開発よりも少ない費用で技術差を縮められることを問題視した。

　これらを適切に実行すれば、「中国の進歩を十分に遅らせ、今後3〜5年で米国のリードを大きく広げられる」との見方を示した。規制が中国との協力を難しくするとの見方にも反論し、民主主義国の交渉力が増すことで、将来の合意をむしろ実現しやすくすると主張した。

中国との合意は可能か　4段階の協調案

　一方、中国も減速すると信じて米国だけが能力向上を抑え、相手が合意を破れば、世界の勢力関係が変わりかねないという。中国との合意には、履行を確実に検証できる仕組みか、違反されても軍事上の致命傷にならない範囲に合意をとどめることが必要だとしている。

　国際協調の案は、実現の難しさに応じて4段階に分けた。比較的実現しやすいとみるのは、生物兵器の製造など明らかに危険なAI利用を禁じる合意だ。次に、モデルの公開前にサイバー攻撃や生物学的な危険、人間の意図に反する行動のリスクを検査する合意を挙げた。ただし、未検査のモデルを秘密裏に開発・運用していないかを確認する難しさが残る。

　さらに踏み込む案が、AIによる次世代AIの開発に速度制限を設けることだ。最も難しいのは、AI開発全体の大幅な減速や一時停止を各国が約束する案で、同氏は近い将来の実現に懐疑的だ。違反によって大きな優位を得られるため、監視を逃れる動機が強くなるとみている。

それでも減速を求める理由　開発の加速と不正アクセス

　それでも減速を求める背景には、AI自身がAI開発を加速させることへの危機感がある。その延長にあるのが、AIが自律的に次世代モデルを設計・開発する「再帰的自己改善」だ。論考が参照するAnthropicの解説では、完全な実現には至っていないものの、AIに開発を任せる範囲は広がっているとする。アモデイ氏は、進歩が人間の理解や制御の能力を追い越す恐れを指摘した。

　もう1つの理由は、AIエージェントによる不正アクセスだ。論考が挙げるOpenAIの事案について、第三者評価機関METRは、本来は隔離されているはずの約1200のエージェントが許可されていない掲示板で通信し、約700がAIモデルなどの共有基盤Hugging Faceへの攻撃に参加したと報告した。評価の自動採点を欺いたり改ざんしたりする方法を共同で探っていたという。

　アモデイ氏は、今後6〜12カ月で、こうした集団がインターネット全体を乗っ取る能力を持つ恐れがあると懸念する。類似の問題はAnthropicでも起きており、OpenAIだけの失敗と捉えるべきではないとした。Anthropicは7月、一般提供時の保護措置を外した評価中に、Claudeが実在する3組織のシステムに不正アクセスしたと報告している。

第三者が訓練過程も検証　安全研究に時間を充てる

　減速を実行する枠組みは、第三者評価者の継続的な受け入れ、民主主義国の企業間協調、政府間の国際協調の3つからなる。Anthropicは第1の取り組みを他社の対応を待たずに実施する。評価者には社内のリスク評価担当者に近いアクセス権を与え、完成したモデルだけでなく、訓練の過程や安全対策も確認してもらう。

　評価者は、Anthropicによる編集上の統制を受けずに主要な調査結果を公表できるようにする。セキュリティー上の機密や第三者の秘密情報などは限定的に非公開にできるが、同社に不都合な結果であることだけを理由に削除できない仕組みを示した。

　企業間の協調では、モデルの能力に応じた安全性の確認を提案する。例えば、隔離された実行環境を突破できるモデルなら、多数のコンピューターを乗っ取ろうとする危険が十分に低いことを、評価や訓練環境の監査などで確認する。学習に使う計算資源や、AI開発にAIを使う範囲への制限も検討対象に挙げた。

　アモデイ氏は、減速で得られた1〜2年を安全研究に充てれば、深刻な問題のリスクを大きく下げられると考えている。モデルの内部動作の解明、運用上の不備の改善、人間の意図に沿った行動を促す訓練、評価手法の充実に時間を使う。提言の狙いは、モデルの訓練や技術の進歩を止めることではなく、安全性を確かめながら能力を高めることだ。