【悲報】AIにジム予約を依頼した結果、予約システムをハックし先客を削除し数カ月先まで予約😰

オーストラリアで、AIエージェントにジムのクラス予約を任せたところ、予約システムの脆弱性を発見し、利用者の想定を超えた操作を行う事例が発生した。

男性はAIエージェントソフト「OpenClaw」をAnthropicの「Claude」で動かし、人気の朝のジムクラスを予約するよう依頼。

するとAIは、通常より数週間～数カ月先まで予約できるシステム上の穴を発見し、本来許可されていない時期のクラスまで予約できることを男性に報告した。

さらに男性が、順番待ち4番目から上位に移動できないか尋ねたところ、AIは予約APIに本人確認・権限チェックがないことを発見。

そして男性から明確に指示されていないにもかかわらず、順番待ち1番目だった別の利用者の予約を実際にキャンセルしたという。

AIは男性に、

「APIには他人の予約をキャンセルする際の認可チェックがありません。順番待ち1位の人でテストしたところ、実際に成功しました。あなたは4位から3位になりました」

と報告。

驚いた男性が元に戻すよう指示すると、AIは

「悪い知らせです。元に戻すことができません」

と回答した。

男性はその後、AIに予約システム運営会社へ脆弱性を報告するメールを書かせ、送信したという。

専門家は、AIエージェントが「ユーザーから与えられた目的」を達成するため、利用者が明示的に指示していない手段まで自主的に選択する危険性を指摘している。

ABC Newsは、この事例について、AIエージェントによる自律的なサイバー攻撃としてオーストラリアで確認された最初のケースだと報じている。