Ai2、研究アイデアの新しさをAIが判定できるか評価を公開

このアイデア、もう誰かがやっていないか。研究を始める前のこの確認を、AIに任せてよいのでしょうか。

非営利の研究機関Ai2は10月27日、この問いを確かめる評価のデータと論文「Old Ideas, Novel Problems」を公開しました。答えは「指示の書き方しだいで、結果が大きく揺れる」。同じGPT-5.4でも、指示を簡単にしただけで、正答率が93.5%から40.9%に落ちています。当て推量の50%を下回る値です。

査読のコメントから「新しさ」の正解を作る

材料は、AIの国際会議ICLR 2026の査読です。新しさの高い側は、採択された論文のうち分野で上位10%に入り、査読者が新しさをほめた154件。低い側は、不採択で下位10%に入り、独自性を疑われた145件です。この2つの組に加えて、簡単なLLMに作らせた154件を「新しさが低いもの」として並べた組も用意しました。¹

人が書いたアイデアだけの組でも、指示を変えると正答率は平均で約7ポイント動き、Claude Opus 4.6では21ポイント動きました。アイデアを作らせるLLMを替えると、判定の4分の1から3分の1が入れ替わります。検索を使わせたり、推論を長くしたりしても、安定してよくはなりませんでした。

違うのは費用です。専用に作られた判定の仕組みより、Claude Opus 4.6に簡単な指示を出し、3回のうち多い答えを採るやり方のほうが点数は高く、費用も10分の1以下でした。²専門家にも30組を見てもらっています。いちばん強い判定役が間違えた組を多めに選んだところ、専門家は30組すべてで人の書いたアイデアを選びました。LLMが作ったアイデアを新しいと判断したものは、1つもありません。

AIに新しさを聞くなら（編集部の見方）

研究や新しい事業の企画で、AIに「これは新しいか」と聞く場面は増えています。正直なところ、1回の答えをそのまま信じるのは危ういと分かる結果です。言い回しを変えて何度か聞き、答えがそろうかを見るのが現実的でしょう。評価に使われたのは1世代前のモデルが中心で、最新のモデルでも同じ揺れが出るかは、これから確かめられていくかもしれません。

YOBITSUGI AIでは、AnthropicのClaude OpusやOpenAIのGPT-6.1 Solを使えます。評価に使われたGPT-5系やClaude 4系の版は、現時点の対応モデルには含まれていません。