本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

論文の主張を図表で確かめるAI、1件ずつ判定すると最高73.8%

執筆・監修: 佐々木 航公開 更新 6 分で読めます

共有XFacebookLINEはてブ

論文に「提案した手法は、従来の手法より誤りが少ない」と書いてあるとき、すぐ下の表の数字は本当にそうなっているか。この照合をAIにどこまで任せられるかを測る国際的な評価が「SciClaimEval」です。その結果を、国立情報学研究所 大規模言語モデル研究開発センター(LLMC)の学術ドメインWGが11月17日、第34回LLM勉強会で報告しました。結果を振り返る主催者の論文も、11月4日にarXivに載りました。

SciClaimEvalは、国立情報学研究所が開く評価型の会議NTCIR-19で行われた課題です。参加の申し込みは22チームと、この回の課題で最多でした。そのうち14チームが、計177回分の結果を出しました。最高の正解率は98.1%でしたが、上位6チームはどこも、同じ主張に付いた2つの版の図表を見比べて答えていました。1件ずつ判定したチームに限ると、最高は73.8%です。

本物の主張と、手を加えた図表を組にする

試験に使ったのは、機械学習や自然言語処理、医学の論文180本から抜き出した1,633件の主張です。どれも論文にそのまま載っている文で、文のほうには手を入れていません。代わりに、根拠になる表や図のほうを作り変えました。

作り変えの作業には、11人の大学院生と研究者があたりました。表なら数値を書き換えたり、行や列の名前を入れ替えたりします。図では、グラフを反転させる、凡例を入れ替える、ありもしない点を描き足す、といった手を使いました。元の図表は主張を支え、作り変えた方は支えません。主張の文に手がかりが残らないので、AIは図表を読んで判断するしかない作りです。

採点の中心は「ペア正解率」です。1つの主張について、元の図表では「支持」、作り変えた図表では「反証」と、両方とも正しく答えたときだけ正解に数えます。でたらめに答えた場合は、25%前後になる計算です。

見比べなければ、最先端のモデルでも7割台

条件ペア正解率
2つの版を見比べた最上位SciTrueとBonn-Juelich。テスト用データ98.1%
1件ずつ判定した最上位TakasuLab。テスト用データ73.8%
Claude Fable 5だけ見比べずに。開発用データ74.4%
GPT-5.6 Solだけ見比べずに。開発用データ70.2%
主催者の基準の仕組みテスト用データ61.1%

図表を画像で渡したときの結果です。Claude Fable 5とGPT-5.6 Solの値はSciTrueのチームが開発用データで測ったもので、テスト用データの値とは直接比べられません。

見比べること自体は、課題の決まりで禁じられていませんでした。上位のチームは同じ主張の2つの図表に反対の答えを割り振るやり方で、点を伸ばしました。ところが、査読者や著者が実際に手にするのは、1つの主張と1つの図表です。見比べる相手はありません。

見比べを外した値を出したチームは、どこも大きく下がりました。上位2チームの値は、開発用データで95.7%から74.4%へ、94.3%から82.7%へ落ちました。報告のあった下げ幅は、8.7〜25.8ポイントです。主催者は論文の結びで、1件ずつの照合を「まだ解けていない問題」と呼びました。

オープンなモデルでも、組み立て次第で並ぶ

最上位の2チームは、使ったモデルの種類が違います。SciTrueは、Claude Fable 5やGPT-5.6 Solなどの有料のモデルを使いました。Bonn-Juelichは重みが公開されているQwen3.6-35B-A3Bを中心に置き、主張を小さく分けて確かめる手順を何段も重ねました。結果はどちらも98.1%で、2つの図表から正しい方を選ぶ課題でも、98.4%と98.1%の僅差でした。ただし、Bonn-Juelichは一部の判定に人の確認を挟んでおり、すべてが自動ではありません。

ほかにも、使う人の参考になりそうな傾向が出ました。

  • 表を画像ではなくLaTeXやJSONの文字で渡しても、はっきりとは良くなりませんでした。多くのチームが画像向けに仕組みを作り込んだうえ、文字で出した結果が少なかったため、主催者は結論を保留しました。
  • 2つの図表から選ぶ課題では、ほぼすべての結果に、先に見せた方を選びやすい偏りがありました。各チームの最良の結果でも、この偏りは消えませんでした。
  • 図の種類では、積み上げの棒グラフとバイオリン図が、特に難しい部類でした。

学術向けのLLM-jpは、科学の問題で74%に

同じ報告では、国産のオープンモデルLLM-jpを学術向けに鍛える途中経過も示されました。論文の文章を追加で学ばせた「sci-llm-jp-4-8b-thinking」です。評価には、数学や理科の試験、医師国家試験、J-STAGEの論文から作った問題など、日本語と英語の9万9,007問を使いました。

元のllm-jp-4-8b-thinkingは61.38%でした。論文で追加学習すると69.37%に上がり、さらに強化学習と、推論するときの入力の工夫を加えると74.11%に達しました。追加学習に使う論文の文章は、133B(1,330億)トークンから167Bトークンに増やします。英語と日本語の比はおよそ10対1で、元の力を忘れにくくするため、一般の文章も2割混ぜて学ばせます。

課題も2つ挙がりました。1つは強化学習を進めると推論が10倍ほど長くなり、答えを出す前に出力の上限に達してしまうことです。もう1つは日本語で推論する手本のデータが足りないことです。英語で書かれた推論の過程は、日本語を母語とする人には確かめにくいため、日本語で推論を書き出した理数系の問題と答えを整える計画です。

このモデルは11月17日の時点で、LLM-jpのHugging Faceのページには見当たりません。J-STAGEの論文には利用条件があるため、その範囲で提供する予定です。LLM-jp全体でも、ツール呼び出しに対応したLLM-jp-4.1に続いて、推論やコーディングの力を強める予定です。同じ勉強会ではELYZAも、llm-jp-4を元にしたELYZA-Thinking-1.0の学習方法を発表しましたが、資料は公開されていません。

投稿前の見直しに使うなら

ここからは編集部の見方です。テスト用データの最上位が73.8%なら、1件ずつの照合では、およそ4組に1組を取りこぼす計算になります。投稿前の原稿で本文の数字と表のずれを洗い出す下見には使えても、最後は人の目で確かめる前提が欠かせません。主催者によれば、この試験のずれの多くは人なら見つけやすいものです。一方で、専門の知識がいる図や、引用先の論文との照らし合わせは、もっと難しくなると主催者は見込みます。

2つの版を見比べると精度が上がる点は、裏返せば使い方のヒントになります。改訂の前と後の表をAIに比べさせる作業は、1件ずつの判定より得意です。とはいえ、先に見せた方に引っ張られる偏りがあるので、順番を入れ替えてもう一度聞くと確かめになります。上位のチームも、順番を逆にして答えが変わらないかを確かめていました。

開発用のデータはHugging Faceにあり、CC BY 4.0で使えます。残りも含めたすべてのデータは、2026年末までに公開される予定です。次の回は見比べができない形に改め、材料科学や物理の論文、数式や医療画像、引用先の論文にも広げます。

試験に使われたClaude Fable 5とGPT-5.6 Solは、どちらも一つ前の世代のモデルです。YOBITSUGI AIで使えるClaudeの新しい版やGPT-6系の値は、この試験には出てきません。

出典

共有XFacebookLINEはてブ