図面や画像から資料を作る評価MKA、首位はFable 5.2
執筆・監修: 佐々木 航公開 更新 4 分で読めます
建築の図面を見比べ、気づいた点をスライドにまとめる。熟練の専門家でも3〜8時間かかる、こうした「見て読む」仕事をAIのエージェントにまかせられるかを測る評価「MKA(Multimodal Knowledge Agent)」が公開されました。作ったのはGoogle DeepMindですが、測るのは第三者の評価会社Artificial Analysisで、11月10日に最初の結果が出ました。首位はClaude Fable 5.2で、満たした基準の割合は57%でした。
10の業界、200の課題
多くの知的な仕事の評価は、文章だけで解けてしまいます。MKAの200の課題は、設計図や機械の回路図、医療の画像のように、見なければ解けない資料を入力にします。建築家や生物学者、保険の審査担当、データの分析者など、10の業界・83の職種の専門家が作りました。
課題ごとに、専門家が書いた約70の「はい・いいえ」の基準で採点し、重みは中身の正しさが75%、見た目の仕上がりが25%です。成果物は、スライド、表計算、PDF、Word、書き込みを入れた画像、テキストの6種類です。点の目安には、強いモデルの差を見分けるための難しい基準(Climb)を満たした割合を使います。
すべてのモデルを、コードの実行、Web検索、画像を見る道具を持たせた同じエージェントの仕組み「Stirrup」で、最大250回のやり取りの中で動かしました。採点はGoogle以外のモデル(GPT-6 Luna)が成果物のファイルを開いて行い、専門家の採点との一致は96%でした。200の課題は学習に紛れ込まないよう非公開にし、形を確かめるための10の課題をHugging Faceで公開しました。
- Claude Fable 5.257%
- Gemini 4 Carbon54%
- Claude Opus 5.553%
- Claude Sonnet 5.552%
- Gemini 4 Argon51%
- GPT-6 Astra50%
- GPT-6.1 Sol48%
- Muse Wonder47%
- Kimi K3.1 Pro44%
- GPT-6.1 Terra44%
- Claude Haiku 5.541%
- Grok 4.740%
上位12モデル。測ったのは21モデルで、最下位はStep 5 Previewの28%です。推論の強さは各モデルの最大か高い設定です。
費用は、上位でも30倍近く違う
上位の点の差は小さい一方、1つの課題にかかる費用は大きく違います。Fable 5.2は1課題あたり平均31.97ドルで、2位のGemini 4 Carbon(6.29ドル)の5倍を超え、GPT-6.1 Sol(1.11ドル)のおよそ29倍です。点が上位から10ポイントの中に収まるモデルでも、費用には30倍近い開きがあります。Carbonより下では、OpenAIの4つのモデルとClaude Haiku 5.5、MiMo-V2.6-Proが、点と費用のつり合いのよい側に並びました。
業界ごとに見ると、すべてで勝つモデルはありません。Fable 5.2はソフトウェア、工学、物流と地図、ビジネス、金融の5つで首位、Opus 5.5は教育と建設、Gemini 4 Argonは科学、Gemini 4 Carbonは医療で首位でした。成果物の種類では、WordとテキストのファイルがMKAで最も難しく、52%を超えたモデルはありません。
読み取れること
評価の作り手はGoogle DeepMindで、Googleのモデルは2位と5位に入りました。ただ、測るのはArtificial Analysisで、採点にはGoogle以外のモデルを使い、課題も非公開です。作り手の有利を抑える工夫はされていると読めます。
使う側から見ると、点の差より費用の差のほうが大きい評価です。図面や資料を読んで報告書を作る仕事をまかせるなら、まず1課題数ドルのGemini 4 CarbonやGPT-6.1 Solで試し、仕上がりに不満のある業界の仕事だけ上位のモデルに回す、という分け方が考えられます。ただ、課題は英語で作られていて、日本語の図面や書類での結果は分かりません。
Googleは同じ日の発表で、Gemini 4 CarbonをGemini APIとGoogle AI Studioで使えるようにしたと案内しました。
YOBITSUGI AIで使えるか
YOBITSUGI AIでは、Claude Fable 5.2・Opus 5.5・Sonnet 5.5・Haiku 5.5、Gemini 4 Argon、GPT-6 Astra・GPT-6.1 Sol、Grok 4.7を使えます。Gemini 4 Carbonは使えません。
出典
- Multimodal Knowledge Agent (MKA) benchmark(Artificial Analysis・2026年11月10日)
- Introducing the Multimodal Knowledge Agent benchmark(Google・2026年11月11日)