「48ドルの返金が4800ドルに」　AIエージェントの暴走を止める、本番運用の勘所

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　AAIFのエグゼクティブディレクターを務めるマジン・ギルバート（Mazin Gilbert）氏は2日目の基調講演でAIを巡る現状を幾つか示した。

　まずはモデルの進化だ。主要なAIモデルの性能指標を分析、公開している「Artificial Analysis」によると、各種モデルがわずかな差でしのぎを削っているのが分かる。日々順位が入れ替わるので、ギルバート氏は講演数日前にグラフを差し替えたという。

　上位を占めるのは「Claude」「GPT」といったフロンティアモデルだが、「GLM」「Kimi」のように、フロンティアモデルに急速に追い付いてきているオープンウエートモデルもある。

オープンウエートモデルの中にはフロンティアモデルに近づくものも

　ギルバート氏によると、オープンウエートモデルでスタックを組めばコストは約6分の1で済む。それでも企業の80％はフロンティアモデルを選んでいるという。

　コスト構造も大きく変わりつつある。ギルバート氏は、「石炭が安くなると消費が増え、支払総額はかえって膨らむ」という19世紀の経済学者ジェヴォンズのパラドックスを挙げ、同じことがAIトークンでも起こっているとした。AIトークン単価はこの1年で90％以上も下落したのに対し、消費量は約50倍、あるいはそれ以上に増えているという。

　モデルの進化によって深い推論が可能になり、アウトプットの質も上がった。そこに単価の下落が重なり、大量のAIトークンを費やしても現実的なコストに収まっている。用途が広がり、使う量も増えた結果、支払いも増えている。AIトークンにおいて、ジェヴォンズのパラドックスと似たことが起こっている。今後マルチエージェント連携が広がれば、さらに多くのAIトークンが必要になるだろう。

　モデルの性能もコストも大きく動く中、ギルバート氏は「モデルやAIトークン単価については語られるが、AIエージェントをどう評価するかはあまり議論されていない」と問題提起する。問うべきは特定のモデルの性能ではなく「タスク全体を、最も低いコストで完遂できるかどうか」だという。

　ギルバート氏はコスト比較も示した。性能指標とタスク1件当たりのコストの関係を比べると、最上位のモデルが1タスク当たり3ドル台なのに対し、性能指標では10ポイントほどしか差のないモデルの中には、0.1ドル以下で済むものもある。

性能指標とタスク1件当たりのコストの比較（ギルバート氏の講演資料から引用）

　業務では、最上位のモデルを必要としないタスクもある。要件に応じてモデルを使い分け、コストを抑える工夫は今後の運用で効いてくるだろう。

ループを掌握せよ――返金ミスは誰の責任か

　こうしたモデルの動向以上にギルバート氏が強調するのがハーネスだ。

　「モデルが注目されがちだが、ハーネスはそれ以上に重要だ。同じモデルでも、ハーネスが違えば同じタスクの結果が全く別物になる」（ギルバート氏）

　広義のハーネスに含まれる要素は、推論から実行、適応、観測までのループ、ツールのルーティング、コンテキスト、メモリ、サンドボックス、権限と認可、エラー時のリトライなど実に幅広い。開発プロセスにとどまらず、AIエージェントを本番で動かす実行基盤全体が対象だ。同氏は「モデルでチャットボットを試すのと、本番システムを運用することの違いはここ（ハーネス）にある」と言う。

　今、ソフトウェア開発周辺では、モデル単体の性能評価や「プロンプトをどう工夫するか」から、「ハーネスをどう整備するか」に視点が移ってきている。それだけAIが本番運用に進んでいる表れではないだろうか。

　ハーネスの重要性をインシデントを例に問題提起したのが、AAIFで開発者体験担当VPを務めるアンジー・ジョーンズ（Angie Jones）氏だ。「顧客サポートのAIエージェントが、注文した商品が届かなかった顧客に返金処理をしたところ、48ドルのはずが4800ドルも返金してしまった」という想定で会場の聴講者と考察した。

「返金ミスは誰の責任か？」と会場と共に考えるジョーンズ氏

　不具合の原因をたどると、注文データには「4800セント」と正しく記録されていた。しかしモデルがツールを呼び出す際に「セント」という単位を落とし、4800という数字だけが渡されたことで、ドルとして処理されていたことが判明した。

　原因が判明したところで、ジョーンズ氏は推理劇さながらに「容疑者のうち、犯人は誰か」と会場に問い掛け、チーム、ランタイム（AIエージェントの実行環境）、モデル、ツールとデータの4択で挙手を求めた。

　会場の投票ではチームが最多だった。ジョーンズ氏は「やったのはモデルだ。しかし皆さんが選んだ通り、結果を引き受けるのはチームだ」と言い、こう続けた。「モデルの周りにシステムを築き、その誤りを本番に持ち込ませない責任は私たちにある」

　誤返金を招いた原因がモデルにあっても、責任を負えるのは人間だけだ。モデルが間違える可能性があることを前提に、誤りが本番に届かない仕組みを用意しておく。それがチームの責任になる。そのためにも、後から実行の記録を検証できて、AIエージェントの行動を制約できて、必要に応じて仕組みを変更できることが重要になる。同氏は「ループを掌握する（own the loop）」ことが欠かせないと強調した。

　人間がAI処理のループの中に入ってチェックする「Human in the loop」はよく聞く。最近では、人間が外から監督する「Human on the loop」も聞くようになってきた。ジョーンズ氏が言う「own the loop」はその先にある表現というわけだ。

関連記事

• 「ハーネス」とは何か　工場の比喩が嫌いだった私がトヨタの自働化とアンドンを持ち出す理由
  編集担当者から、「ハーネスエンジニアリングという言葉はふわっとしていて気持ちが悪い」と言われました。実際、ハーネスには決まった定義がなく、どう使うかも会社によってまちまちです。今回は、生成AI以前のテストハーネスとの比較と、トヨタの工場の考え方を手掛かりに、私がハーネスをどう考えているかを紹介します。
• VS Codeの新規セッションで「ハーネス」がデフォルトに　複数AIモデルを競わせる新機能も
  Microsoftは「Visual Studio Code 1.143」を公開した。新しいセッションのデフォルトをCopilotハーネスに切り替えた他、同じコーディングタスクを複数のモデルで並行して実行し、結果を比べて組み合わせるプレビュー機能などを追加した。
• プロンプトガチャはもう古い――「ハーネスの父」が明かす、AI駆動開発の極意
  Googleは、AIエージェントによる開発をテーマにした解説動画「The Agent Factory」を要約した記事を公開した。Googleのエンジニアがエージェントハーネスの重要性を語っている。
• 「11回止めたのに本番DBが消えた」　AIエージェント“6つの暴走”と、人間の承認を増やしても防げない理由
  AIコーディングエージェントの自律性が高まる一方、本番データベースの削除といった事故も起こっています。では、「人間の承認」を増やせば事故は防げるのでしょうか。事例と対策から、事故を起こさないAIエージェントの設計について考えます。
• 「MCPの知識を証明する」認定資格がスタート、エンジニアに問われる“5つの領域”
  Linux Foundation傘下のAgentic AI Foundationは、MCPの理解度を測る認定資格「MCPA」を新設した。MCPの公式な認定資格は初めてとなる。

Copyright © ITmedia, Inc. All Rights Reserved.