本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

実験の画像を読むAIの評価VIALS-AA、首位でも64%

執筆・監修: 佐々木 航公開 更新 7 分で読めます

共有XFacebookLINEはてブ

電気泳動の写真で、「22」と番号の付いたたんぱく質の点が、目盛りのどこにあるかを読み取る。Artificial Analysisは11月6日、こうした実験の画像を読む力を測る評価VIALS-AAの結果を公開しました。19のモデルを比べ、首位はGoogleのGemini 4 Carbonでした。ただ、3回とも正解した問題の割合は64%にとどまります。

もとになったのは、求人サービスHandshakeのAI部門Handshake AIが8月に公開した評価VIALSです。Artificial Analysisが、自社の動かし方で測り直しました。

実験の現場の画像を161問

VIALSは161問で、174枚の画像を使います。分野は8つで、ウェスタンブロットなどの電気泳動の写真、顕微鏡の画像、フローサイトメトリーの図、プラスミドの地図、系統樹、分子の構造などです。論文や教科書の整った図ではなく、バイオ企業の実験の流れで実際に見る画像を集めました。Handshake AIは、生命科学の博士の多くにとってはやさしい問題だと説明します。

Artificial Analysisは各モデルに、コードを実行するツールと画像を見るツールを渡しました。1問を3回ずつ解かせ、3回とも正解した問題の割合を点数にしました。科学の仕事では、動かすたびに変わる答えは頼れないためです。採点はGPT-6 Luna(推論の深さは中)が、元の評価の採点の指示に沿って行います。

モデル3回とも
正解
1回でも
正解
Gemini 4 CarbonGoogle64%71%
GPT-6 Astra ●OpenAI63%73%
Claude Opus 5.5 ●Anthropic61%69%
GPT-6.1 TerraOpenAI60%71%
Claude Sonnet 5.5 ●Anthropic60%71%
Gemini 4 Argon ●Google60%73%
GPT-6.1 Sol ●OpenAI59%71%
Muse WonderMeta55%74%
Claude Haiku 5.5 ●Anthropic49%71%
Kimi K3.1 ProMoonshot AI・重み公開45%74%
MiMo-V2.6-ProXiaomi・重み公開43%71%
Gemini 3.8 Flash ●Google41%64%
DeepSeek V4.1 Flash ●DeepSeek・重み公開40%66%
GLM-5.3-FlashZ.ai・重み公開40%67%
Grok 4.7 ●xAI38%66%
Qwen3.8 MaxAlibaba32%73%
MiniMax-M3.1-FlashMiniMax・重み公開30%71%
GPT-6 Luna ●OpenAI27%61%
Mistral Large 4 ●Mistral AI・重み公開20%63%

●はYOBITSUGI AIで使えるモデルです。値は11月6日時点で、推論の深さは多くのモデルで最大か高の設定です。

1回でも正解した割合では、多くのモデルが6〜7割台に並びますが、3回とも正解できるかどうかで差が開きます。重みを公開しているKimi K3.1 Pro、MiMo-V2.6-Pro、MiniMax-M3.1-Flashは、1回でも正解した問題が114〜119問ありました。上位7モデルの111〜118問と同じくらいです。ところが3回とも正解した問題は48〜73問で、上位7モデルの95〜103問に届きませんでした。

分野ごとでは、Gemini 4 Carbonがプラスミドの地図、系統樹、フローサイトメトリーの3分野で首位か同率首位でした。ブロットの画像はClaude Opus 5.5、細胞を数える問題はClaude Sonnet 5.5、たんぱく質の構造はGPT-6.1 Terraが首位です。分子の構造は、GPT-6 AstraとGPT-6.1 Solが同率首位でした。

たくさん測っても当たるとは限らない

冒頭の22番の点の問題では、モデルごとに解き方が分かれました。GPT-6 Astraは画像を4倍に拡大して1度見ただけで、正しい40〜50kDaと答えました。かかったのは6ターンです。Claude Sonnet 5.5は、目盛りの帯の位置を測り、補助線を引き、コントラストを上げてから計算し、18ターンで同じ答えに着きました。

一方、Grok 4.7は格子や補助線を何度も描き、画像を20回見たうえで、50〜70kDaと誤りました。Artificial Analysisは、薄いたんぱく質の点ではなく、印刷された「22」の文字の位置を基準にしたためとみています。

全体でも、Claude Opus 5.5とClaude Sonnet 5.5は、ほかのモデルより画像を測る操作が多めでした。ツールの呼び出しのうち、画像の測定はClaudeの2つで25〜27%、GPT-6 AstraとGPT-6.1 Solでは5〜6%です。ただ、測る操作が多いからといって、点数が上がるわけではありません。総合指標の高いモデルほど、ツールの呼び出しが少ない傾向もありました。

費用は1問2セントから1.77ドルまで

1問あたりの費用は、GPT-6 Lunaの0.02ドルから、Grok 4.7の1.77ドルまで、約99倍の開きがあります。

目立つのはGPT-6.1 Solです。1問0.06ドルで59%を取りました。ほぼ同じ60%のClaude Sonnet 5.5は、ツールの呼び出しが3.6倍、費用は約18倍です。61%のClaude Opus 5.5とは、費用で約30倍の差があります。出力のトークンも大きく違います。Claude Sonnet 5.5は1問に約6万3,500トークンを出し、うち約5万4,600が推論でした。GPT-6.1 Solの約25倍です。

日本の利用者にとって

問題は英語で、生命科学の専門の画像に限った評価です。研究や品質管理で実験の画像をAIに読ませるなら、2つのことが言えます。

1つは、同じ画像でも答えが回ごとに変わることです。首位のモデルでも3回とも正解したのは64%なので、1回の答えをそのまま記録に使うのは危うい結果です。大事な判断では、何度か聞いて答えがそろうかを確かめると安心です。

もう1つは、費用の高いモデルが当たるとは限らないことです。GPT-6.1 SolやGemini 4 Argonは、上位と数点差の点を安く出しています。

同じ11月6日には、OpenAIも実験の生のデータを読む自社の評価BioBasicsBenchを発表しました。自社のモデルだけを測った評価ですが、GPT-6 Astraの得意なことと失敗のしかたを具体的な例で確かめられます。

ここからは編集部の見方です。この評価は、コードを実行して画像を拡大したり測ったりできる条件で測っています。チャットに画像を貼って聞くだけの使い方では、結果が変わる可能性があります。なお首位のGemini 4 Carbonは、Googleが発表時に、まずサイバー防御の組織に限って提供するとしていたモデルです(発表の記事)。

YOBITSUGI AIで使えるか

表のモデルのうち、YOBITSUGI AIではOpenAIのGPT-6 Astra、GPT-6.1 Sol、GPT-6 Lunaを使えます。AnthropicのClaude Opus、Claude Sonnet、Claude Haikuの系列と、GoogleのGemini 4 ArgonとGemini 3.8 Flashも使えます。xAIのGrok 4.7、DeepSeekのDeepSeek V4.1 Flash、Mistral AIのMistral Large 4も使えます。首位のGemini 4 Carbonは、現時点ではYOBITSUGI AIからは使えません。選べるモデルは、アプリのモデルの選択欄で確認できます。ほかの評価も含めた順位は、毎週の性能比較で確かめられます。

出典

共有XFacebookLINEはてブ