本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

AIエージェントの実利用の順位、Claude Fable 5.2が首位

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

試験の問題ではなく、人が実際にAIに任せた作業の結果で、エージェントの順位を付ける。そんな指標の新しい版が出ました。

AIのモデルを比べるサイトを運営するArena(旧LMArena)は11月16日、エージェントの順位表を作り直し、総合指標「Agent Arena Index」を始めました。材料は、Arenaのエージェント機能で利用者が実際に動かした300万回を超える作業です。11月19日の表では68のモデルが並び、首位はAnthropicのClaude Fable 5.2でした。

順位・モデル(設定)指標課題1つの費用課題1つの時間
1 Claude Fable 5.2(Max)指標1,448課題1つの費用$9.15課題1つの時間19.5分
2 Claude Opus 5.5(Max)指標1,336課題1つの費用$5.89課題1つの時間17.2分
3 Gemini 4 Neon(High)指標1,333課題1つの費用$2.66課題1つの時間8.5分
4 Gemini 4 Carbon(High)*指標1,303課題1つの費用$1.34課題1つの時間9.4分
5 Claude Sonnet 5.5(Max)指標1,296課題1つの費用$3.40課題1つの時間17.2分
6 GPT-6.2 Astra(Max)指標1,291課題1つの費用$2.94課題1つの時間—
7 GPT-6 Astra(Max)指標1,282課題1つの費用$4.91課題1つの時間10.9分
8 Claude Opus 5.5(High)指標1,273課題1つの費用$2.00課題1つの時間4.4分
9 Claude Fable 5.1(Max)指標1,272課題1つの費用$7.77課題1つの時間12.1分
10 Gemini 4 Hydrogen(High)*指標1,271課題1つの費用$1.51課題1つの時間5.3分
11 GPT-6.2 Sol(Max)指標1,241課題1つの費用$0.90課題1つの時間—
12 GPT-6.1 Sol(Max)指標1,241課題1つの費用$1.05課題1つの時間9.5分

Arenaの表の値で、11月19日に確認しました(作業3,093,488回・68モデル)。費用と時間は、直近14日の課題1つあたりの中央値です。「*」はArenaが暫定としている値、「—」は表に記載がないことを示します。

2位以下は僅差、費用は大きく違う

首位のFable 5.2は1,448点で、2位のClaude Opus 5.5に112点の差をつけました。2位から6位までは、50点ほどの間に並んでいます。とくに、発表されたばかりのGemini 4 Neonが目立ちます。Opus 5.5と3点差の3位ですが、課題1つの費用は2.66ドルと半分以下で、時間も8.5分と半分ほどでした。

つまり、費用まで含めると見え方は変わります。Arenaは、費用の割に点が高いモデルとして、OpenAIのGPT-6.2 Solを「毎日使う一台」に挙げました。1,241点で、課題1つ0.90ドルです。また、さらに安い側では、MetaのMuse Emberが1,109点を課題1つ0.02ドルで出しました。最上位のFable 5.2と比べると、費用は約450分の1です。

何を測っているか

Agent Arena Indexは、4つの信号を平均した指標です。作業を終えられたか、利用者がほめたか不満を言ったか、途中の指示や直しに従ったか、コマンドを確実に実行できたか、の4つです。利用者の作業にはモデルが無作為に割り当てられ、その結果を集めて比べます。

今回の作り直しでは、点の付け方を変えました。標準偏差の1,000分の1を1点とし、7月の平均がおよそ1,000点になるようにそろえています。新しいモデルが加わっても、以前からあるモデルの点が動きにくくなるよう調整する仕組みです。ただし、順位は前の方法と変わりません。また、存在しないツールを呼ぶ誤りは、最近のモデルではまれになったとして測るのをやめました。

総合指標とは別に、仕事、コーディング、会話、作業の結果、指示への従い方、ツールの使い方の6つの指標も加わりました。利用者の意図どおりに動くかを測るAlignment Indexは、これまでどおり並べて公開されます。

ここからは編集部の見方です。試験の点ではなく実際の利用から作る指標なので、使い心地に近い順位といえます。ただ、もとになるのはArenaを使う人が任せた作業で、仕事の中身によって順位は変わりえます。費用と時間も、Arenaの環境で測った値です。迷ったら、総合の順位だけでなく、自分の用途に近い仕事やコーディングの指標を見るのがよいでしょう。

YOBITSUGI AIでは、Claude Fable、Claude Opus 5.5、Claude Sonnet 5.5、GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argonを使えます。表に載ったモデルのうち、Gemini 4のNeon、Carbon、Hydrogenと、GPT-6.2 Astra、GPT-6.2 Solは、現時点の対応モデルには含まれていません。

出典

共有XFacebookLINEはてブ