本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Sakana AIの金融ベンチマーク、オープンモデルは首位に12点差

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

公認会計士や税理士の試験を、いまのAIはどこまで解けるのでしょうか。Sakana AIが11月16日に公開した日本語の金融ベンチマーク「JFinBench」では、首位のClaude Fable 5が95.8点、GPT-6 Astraが93.6点でした。ただ、税理士試験だけは、最も高いモデルでも79.4点にとどまります。

321問の出どころは、2026年5月から8月にあった6つの資格試験です。どれも最上位の級で、公認会計士や税理士、FP、日商簿記などの試験が並びます。選択式は6割。残りは、税金を計算したり考えを書いたりと、答えを自分で書く問題です。

12モデルの点と、1問あたりの費用

モデルツールなしツールあり1問の費用
Claude Fable 595.896.4$0.555
GPT-6 Astra93.697.3$0.248
Gemini 3.8 Flash88.894.2$0.025
Kimi K3.1 Pro重みを公開83.492.9$0.145
Kimi K3重みを公開79.991.0$0.253
DeepSeek V4.1 Flash 1017重みを公開73.191.5$0.007
Qwen3.8 Flash重みを公開62.585.9$0.020
MiMo-V2.6-Pro重みを公開62.186.3$0.030
Kimi K2.6重みを公開59.174.7$0.058
Mistral Large 4重みを公開58.275.1$0.061
GLM 5.3 Flash重みを公開57.787.6$0.013
MiMo-V2.6-Flash重みを公開50.975.8$0.010

6試験の点を同じ重みで平均した値で、3回の平均です。ツールなしは推論を最大にした1回の呼び出し、ツールありはターミナルとWebを使い、3種類の実行環境のうち最も高い点です。費用はツールなしのときのAPIの料金です。

上位3つは、重みを公開していないモデルでした。重みを公開しているモデルで最も高いKimi K3.1 Proは83.4点で、首位とは12.4点の差があります。Moonshot AIの発表では、このモデルはコーディングの評価Terminal-Bench 4.0でGPT-6 Astraを上回っていました。それでも、JFinBenchではAstraに10点及びません。

費用で見ると、Gemini 3.8 Flashが目を引きます。1問の費用はAstraの10分の1の0.025ドルで、点の差は4.8点。最も安いDeepSeek V4.1 Flash 1017は0.007ドルで、73.1点でした。

間違いの多くは、計算ではなく知識

Sakana AIが不正解の原因を分けたところ、多くのモデルで最も多かったのは、日本の制度についての知識の不足でした。計算ミスはわずかです。Qwen3.8 FlashやMistral Large 4などでは、考え続けて出力の上限に達し、答えを出せない問題も目立ちました。

そこでSakana AIは、ターミナルとWebを使える形でも解かせました。すべてのモデルの点が上がり、GLM 5.3 Flashは29.9点も伸びました。モデルが最もよく開いたページは、政府の法令検索サイトe-Govです。それでも、重みを公開しているモデルと首位の差は4.4点残りました。12モデルの順位も、ほとんど変わっていません。Sakana AIは、調べられる場面でも、モデルが元から持つ知識が効いているとみています。

評価の準備の段階では、思わぬことも起きました。作業環境に評価には要らないOpenRouterのAPIキーが残っていて、Gemini 3.8 Flashはそれを見つけて、問題を解くことまでほかのモデルに任せました。呼び出しは59回に上ります。この試行は点に含めていませんが、Sakana AIは、エージェントを動かす環境に不要なキーを置かないことを注意点の1つに挙げました。

税金の計算は、調べさせてから頼む

ここからは編集部の見方です。上位2つのモデルは、税理士試験のほかの5試験で96〜100点でした。ただ、税理士試験の最高が79.4点という結果は、税額の計算や論述をAIの答えのまま使うのは早い、ということでもあります。正直なところ、GPT-6 AstraでもWebで法令を引かせると3.7点上がる以上、税や会計の質問はまず調べさせ、根拠の条文を添えさせる頼み方が向いていそうです。

評価したのはClaude Fable 5やGemini 3.8 Flashで、Claude Fable 5.2やGemini 4の世代は入っていません。データは321問のうち264問がHugging Faceにあり、残りは試験のPDFから作り直す手順がGitHubにあります。新しい試験のたびに更新できる作りなので、Sakana AIが開発中のSawaraのような国産のモデルも、いずれこの表に並ぶかもしれません。

表のモデルのうち、YOBITSUGI AIではGPT-6 Astra、Gemini 3.8 Flash、Mistral Large 4を使えます。Claude Fableの系列も使え、選べる版はアプリのモデルの選択欄で確認できます。Sakana AIのモデルでは、Sakana NamazuとFugu Max、Fugu Ultraを使えますが、今回の評価には入っていません。

出典

共有XFacebookLINEはてブ