Artificial Analysis、ロボットアームを動かす評価を公開

公開 2026年10月15日 08:043 分で読めます

AI モデルの評価を手がける Artificial Analysis は 10 月 14 日、言語モデルが現実の物を扱えるかを測る評価「AA-Robotics v0.1」の結果を公開しました。研究のための試行版という位置づけです。モデルはコーディングエージェントの仕組みの中から、5 つの関節とつかむ部分(グリッパー)を持つロボットアームを動かし、机の上の 8 つの課題に取り組みます。

要点

課題はボタンを押す、飲み物を注ぐ、箱の寸法を測るなど 8 つで、途中までなら部分点が付きます。
アームは HTTP の API で動かし、4 台のカメラで様子を見ます。練習なしで 1 回ずつ挑みます。
首位は GPT-6 Astra の 69.4 点で、GPT-6.1 Sol が 64.6 点、Gemini 4 Argon が 55.3 点で続きました。
Claude Opus 5.5 は 48.8 点、Claude Fable 5.1 は 46.3 点でした。
5 モデルとも満点だったのは 2 課題だけで、箱の寸法を測る課題は最高でも 17 点でした。
1 課題に平均約 30 分かかり、人の平均 20 秒と比べて約 100 倍遅いとしています。
1 課題の費用は GPT-6.1 Sol の $1.93 が最も安く、GPT-6 Astra は $16.36 でした。
物をつかめた割合は GPT-6 Astra の 45% が最も高く、GPT-6.1 Sol は 28% でした。

GPT の各モデルは Codex、Claude の各モデルは Claude Code、Gemini 4 Argon は Antigravity の上で、どれも推論の強さを高い設定にして試しています。Gemini 4 Argon は 1 課題に平均 52 分と、最も時間がかかりました。アームや場面が初めてで見る画像も多いため、費用の約 70% は入力の分だとしています。Gemini 4 Argon の公開については、Google、Gemini 4 Argon を公開 API とアプリでにまとめています。

日本の利用者にとって

Artificial Analysis は、いまの言語モデルは簡単な作業ならアームを動かせるようになった一方で、遅さと費用の面で実用にはまだ遠いとしています。費用は米ドルで、人の費用は米国の平均時給 $37.81 で計算しています。発表では、日本語への対応や日本での提供には触れていません。

YOBITSUGI AI で使えるか

これはベンチマークの結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra・GPT-6.1 Sol と、Anthropic の Claude Opus・Claude Fable の系列を使えます。Google の Gemini 4 Argon は、いまは選べません。YOBITSUGI AI にロボットアームをつないで動かす機能はありません。