Artificial Analysis、GPT-6.1 Terraは推測が半減

知らない問いに、当て推量で答えてしまう割合が88%から38%へ。

AIモデルの評価会社Artificial Analysisは10月26日、OpenAIが同じ日に出したGPT-6.1 Terraの評価をまとめました。冒頭の数字は、知識の正確さを測るAA-Omniscienceでのハルシネーションの割合で、前の版のGPT-5.6 Terraと比べたものです。正しく答えた割合も2ポイント上がりました。Terraそのものの発表は、OpenAI、GPT-6.1 Terraを公開にまとめています。

推論の深さで、指標は33から48まで

Artificial Analysisの総合指標Intelligence Index（v4.3.2）では、推論の深さごとに次の点数でした。

maxの48は、GPT-6.1 Solの52より4点低く、GPT-6 Lunaの38より10点高い位置です。GPT-6 Astraはmaxで53でした。前の版との差はmaxで6点、それより浅い設定では7〜13点に広がります。

費用の差は、点数の差より大きく出ています。指標の1タスクあたりの費用は、maxでGPT-6.1 Terraが$0.40、GPT-5.6 Terraが$1.40。lowなら$0.05です。Artificial Analysisは、性能と費用の釣り合いがいちばんよいのはlowとmediumだとしています。

コーディングのエージェントとしての力を測るCoding Agent Index（v2.0）は48点。Solの54には6点及ばず、Lunaの31を17点上回りました。個別の評価では、端末の操作を測るTerminal-Bench 4.0の伸びが約20ポイントと大きく、maxではSolに並ぶところまで来ています。出力の速さは毎秒約91トークンです。

使いどころ（編集部の見方）

推測で答える割合が半分以下になったことは、事務の仕事で効いてきそうです。表の数字を読み取って転記するような仕事なら、分からないときに「分からない」と返してくれるほうが、あとで誤りを探す手間が減ります。

推論の深さは、APIの既定のmediumから始めて、足りなければ上げる使い方が評価とも合っています。maxとlowの差は12点ですが、1タスクの費用は$0.40と$0.05で8倍。ただ、Artificial Analysisの記事は日本語での成績に触れておらず、日本語の帳票で同じ傾向が出るかは、試してみるまで分からないかもしれません。

YOBITSUGI AIではOpenAIのGPT-6 Astra、GPT-6.1 Sol、GPT-6 Lunaを使えます。今回評価されたGPT-6.1 Terraは、現時点の対応モデルには含まれていません。