本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

図面や画像から資料を作る評価MKA、首位はFable 5.2

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

建築の図面を見比べ、気づいた点をスライドにまとめる。熟練の専門家でも3〜8時間かかる、こうした「見て読む」仕事をAIのエージェントにまかせられるかを測る評価「MKA(Multimodal Knowledge Agent)」が公開されました。作ったのはGoogle DeepMindですが、測るのは第三者の評価会社Artificial Analysisで、11月10日に最初の結果が出ました。首位はClaude Fable 5.2で、満たした基準の割合は57%でした。

10の業界、200の課題

多くの知的な仕事の評価は、文章だけで解けてしまいます。MKAの200の課題は、設計図や機械の回路図、医療の画像のように、見なければ解けない資料を入力にします。建築家や生物学者、保険の審査担当、データの分析者など、10の業界・83の職種の専門家が作りました。

課題ごとに、専門家が書いた約70の「はい・いいえ」の基準で採点し、重みは中身の正しさが75%、見た目の仕上がりが25%です。成果物は、スライド、表計算、PDF、Word、書き込みを入れた画像、テキストの6種類です。点の目安には、強いモデルの差を見分けるための難しい基準(Climb)を満たした割合を使います。

すべてのモデルを、コードの実行、Web検索、画像を見る道具を持たせた同じエージェントの仕組み「Stirrup」で、最大250回のやり取りの中で動かしました。採点はGoogle以外のモデル(GPT-6 Luna)が成果物のファイルを開いて行い、専門家の採点との一致は96%でした。200の課題は学習に紛れ込まないよう非公開にし、形を確かめるための10の課題をHugging Faceで公開しました。

  1. Claude Fable 5.257%
  2. Gemini 4 Carbon54%
  3. Claude Opus 5.553%
  4. Claude Sonnet 5.552%
  5. Gemini 4 Argon51%
  6. GPT-6 Astra50%
  7. GPT-6.1 Sol48%
  8. Muse Wonder47%
  9. Kimi K3.1 Pro44%
  10. GPT-6.1 Terra44%
  11. Claude Haiku 5.541%
  12. Grok 4.740%

上位12モデル。測ったのは21モデルで、最下位はStep 5 Previewの28%です。推論の強さは各モデルの最大か高い設定です。

費用は、上位でも30倍近く違う

上位の点の差は小さい一方、1つの課題にかかる費用は大きく違います。Fable 5.2は1課題あたり平均31.97ドルで、2位のGemini 4 Carbon(6.29ドル)の5倍を超え、GPT-6.1 Sol(1.11ドル)のおよそ29倍です。点が上位から10ポイントの中に収まるモデルでも、費用には30倍近い開きがあります。Carbonより下では、OpenAIの4つのモデルとClaude Haiku 5.5、MiMo-V2.6-Proが、点と費用のつり合いのよい側に並びました。

業界ごとに見ると、すべてで勝つモデルはありません。Fable 5.2はソフトウェア、工学、物流と地図、ビジネス、金融の5つで首位、Opus 5.5は教育と建設、Gemini 4 Argonは科学、Gemini 4 Carbonは医療で首位でした。成果物の種類では、WordとテキストのファイルがMKAで最も難しく、52%を超えたモデルはありません。

読み取れること

評価の作り手はGoogle DeepMindで、Googleのモデルは2位と5位に入りました。ただ、測るのはArtificial Analysisで、採点にはGoogle以外のモデルを使い、課題も非公開です。作り手の有利を抑える工夫はされていると読めます。

使う側から見ると、点の差より費用の差のほうが大きい評価です。図面や資料を読んで報告書を作る仕事をまかせるなら、まず1課題数ドルのGemini 4 CarbonやGPT-6.1 Solで試し、仕上がりに不満のある業界の仕事だけ上位のモデルに回す、という分け方が考えられます。ただ、課題は英語で作られていて、日本語の図面や書類での結果は分かりません。

Googleは同じ日の発表で、Gemini 4 CarbonをGemini APIとGoogle AI Studioで使えるようにしたと案内しました。

YOBITSUGI AIで使えるか

YOBITSUGI AIでは、Claude Fable 5.2・Opus 5.5・Sonnet 5.5・Haiku 5.5、Gemini 4 Argon、GPT-6 Astra・GPT-6.1 Sol、Grok 4.7を使えます。Gemini 4 Carbonは使えません。

出典

共有XFacebookLINEはてブ