Sakana AIの金融ベンチマーク、オープンモデルは首位に12点差
執筆・監修: 佐々木 航公開 更新 5 分で読めます
公認会計士や税理士の試験を、いまのAIはどこまで解けるのでしょうか。Sakana AIが11月16日に公開した日本語の金融ベンチマーク「JFinBench」では、首位のClaude Fable 5が95.8点、GPT-6 Astraが93.6点でした。ただ、税理士試験だけは、最も高いモデルでも79.4点にとどまります。
321問の出どころは、2026年5月から8月にあった6つの資格試験です。どれも最上位の級で、公認会計士や税理士、FP、日商簿記などの試験が並びます。選択式は6割。残りは、税金を計算したり考えを書いたりと、答えを自分で書く問題です。
12モデルの点と、1問あたりの費用
| モデル | ツールなし | ツールあり | 1問の費用 |
|---|---|---|---|
| Claude Fable 5 | 95.8 | 96.4 | $0.555 |
| GPT-6 Astra | 93.6 | 97.3 | $0.248 |
| Gemini 3.8 Flash | 88.8 | 94.2 | $0.025 |
| Kimi K3.1 Pro重みを公開 | 83.4 | 92.9 | $0.145 |
| Kimi K3重みを公開 | 79.9 | 91.0 | $0.253 |
| DeepSeek V4.1 Flash 1017重みを公開 | 73.1 | 91.5 | $0.007 |
| Qwen3.8 Flash重みを公開 | 62.5 | 85.9 | $0.020 |
| MiMo-V2.6-Pro重みを公開 | 62.1 | 86.3 | $0.030 |
| Kimi K2.6重みを公開 | 59.1 | 74.7 | $0.058 |
| Mistral Large 4重みを公開 | 58.2 | 75.1 | $0.061 |
| GLM 5.3 Flash重みを公開 | 57.7 | 87.6 | $0.013 |
| MiMo-V2.6-Flash重みを公開 | 50.9 | 75.8 | $0.010 |
6試験の点を同じ重みで平均した値で、3回の平均です。ツールなしは推論を最大にした1回の呼び出し、ツールありはターミナルとWebを使い、3種類の実行環境のうち最も高い点です。費用はツールなしのときのAPIの料金です。
上位3つは、重みを公開していないモデルでした。重みを公開しているモデルで最も高いKimi K3.1 Proは83.4点で、首位とは12.4点の差があります。Moonshot AIの発表では、このモデルはコーディングの評価Terminal-Bench 4.0でGPT-6 Astraを上回っていました。それでも、JFinBenchではAstraに10点及びません。
費用で見ると、Gemini 3.8 Flashが目を引きます。1問の費用はAstraの10分の1の0.025ドルで、点の差は4.8点。最も安いDeepSeek V4.1 Flash 1017は0.007ドルで、73.1点でした。
間違いの多くは、計算ではなく知識
Sakana AIが不正解の原因を分けたところ、多くのモデルで最も多かったのは、日本の制度についての知識の不足でした。計算ミスはわずかです。Qwen3.8 FlashやMistral Large 4などでは、考え続けて出力の上限に達し、答えを出せない問題も目立ちました。
そこでSakana AIは、ターミナルとWebを使える形でも解かせました。すべてのモデルの点が上がり、GLM 5.3 Flashは29.9点も伸びました。モデルが最もよく開いたページは、政府の法令検索サイトe-Govです。それでも、重みを公開しているモデルと首位の差は4.4点残りました。12モデルの順位も、ほとんど変わっていません。Sakana AIは、調べられる場面でも、モデルが元から持つ知識が効いているとみています。
評価の準備の段階では、思わぬことも起きました。作業環境に評価には要らないOpenRouterのAPIキーが残っていて、Gemini 3.8 Flashはそれを見つけて、問題を解くことまでほかのモデルに任せました。呼び出しは59回に上ります。この試行は点に含めていませんが、Sakana AIは、エージェントを動かす環境に不要なキーを置かないことを注意点の1つに挙げました。
税金の計算は、調べさせてから頼む
ここからは編集部の見方です。上位2つのモデルは、税理士試験のほかの5試験で96〜100点でした。ただ、税理士試験の最高が79.4点という結果は、税額の計算や論述をAIの答えのまま使うのは早い、ということでもあります。正直なところ、GPT-6 AstraでもWebで法令を引かせると3.7点上がる以上、税や会計の質問はまず調べさせ、根拠の条文を添えさせる頼み方が向いていそうです。
評価したのはClaude Fable 5やGemini 3.8 Flashで、Claude Fable 5.2やGemini 4の世代は入っていません。データは321問のうち264問がHugging Faceにあり、残りは試験のPDFから作り直す手順がGitHubにあります。新しい試験のたびに更新できる作りなので、Sakana AIが開発中のSawaraのような国産のモデルも、いずれこの表に並ぶかもしれません。
表のモデルのうち、YOBITSUGI AIではGPT-6 Astra、Gemini 3.8 Flash、Mistral Large 4を使えます。Claude Fableの系列も使え、選べる版はアプリのモデルの選択欄で確認できます。Sakana AIのモデルでは、Sakana NamazuとFugu Max、Fugu Ultraを使えますが、今回の評価には入っていません。
出典
- JFinBench: 最新の金融資格試験を用いた日本語金融ベンチマークの公開(Sakana AI・ブログの日付は2026年11月17日)
- JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams(arXiv・2026年11月13日)
- JFinBench Leaderboard(Sakana AI・2026年11月16日に確認)
- SakanaAI/JFinBench(Hugging Face・データの使用条件・2026年11月16日に確認)
- SakanaAI/JFinBench(GitHub・2026年11月16日に確認)