Sarvam AI、44ミリ秒で答える判断モデルPrismを重みごと公開

確率90%以上で選んだ答えのうち、外れたのは2.2%。モデル自身が見込んだ3.3%より少ない外れでした。インドのSarvam AIが11月3日に公開した判断モデル「Sarvam Prism」の、英語の公開ベンチマーク37本での結果です。

Prismは、自社の言語モデルSarvam 105Bをもとに作った判断モデルです。文章を書かずに、あらかじめ決めた選択肢ごとの確率を返します。重みはHugging FaceでApache 2.0ライセンスで公開し、Sarvam AIのAPIからも使えます。判断モデルの仕組みと、言語モデルと比べた費用は、判断モデルとは？ 言語モデルと比べた得意な仕事と費用で説明しています。

平均の首位は「100ミリ秒より速いモデルの中で」

Sarvam AIは、Prismとほかの24の判断モデルを、3つの指標で自ら測りました。37本の公開ベンチマークからなるTypeSafeのJev Decision Index、Artificial AnalysisのDecision Indexを自社で作り直したもの、自社のインドの言語の試験です。Prismの平均は71.8で、応答の中央値は44ミリ秒でした。

モデル応答の中央値	平均	Jev	AA 再現	インド の言語
mammoth-1284ミリ秒	75.2	75.3	70.2	80.1
GLiDE 1.2116ミリ秒	73.2	72.0	68.1	79.4
Sarvam Prism44ミリ秒	71.8	67.0	65.9	82.5
elephant-1145ミリ秒	71.3	72.2	67.6	74.0
KnowLine-35B50ミリ秒	70.8	70.7	59.2	82.6
Perplexity Decider v1.2117ミリ秒	68.0	67.7	61.2	75.0
Jev 1.14196ミリ秒（公表値）	64.5	60.7	61.9	70.8

Sarvam AIは、Prismを「100ミリ秒より速く答えるモデルの中で、平均が最も高い」としています。平均でPrismを上回るモデルもありますが、mammoth-1とGLiDE 1.2は、応答に2〜6倍の時間がかかります。

ただ、指標ごとに見ると順位は変わります。公開ベンチマークのJev Decision Indexでは、Prismは67.0です。mammoth-1の75.3やelephant-1の72.2より低く、Perplexity Decider v1.2の67.7にも届きません。平均を押し上げているのは、インドの言語で測った自社の試験で取った82.5です。この試験でも、KnowLine-35Bが82.6とわずかに上回りました。

応答の時間は、Sarvam AIがNVIDIA B200の1枚で、1件ずつ1,000回送って測った中央値です。APIでしか使えないJev 1.14は、公表された時間を載せました。Sarvam AIの環境からAPIで測ると、431ミリ秒でした。

確率は、どこまで当てになるか

判断モデルを業務で使うときは、確率が一定より高い答えだけを自動で通し、残りを人に回します。そのため、この使い方が成り立つのは、確率の値どおりに当たるときだけです。確率90%以上の答えで比べると、英語ではPrismとClefは見込みより外れが少なく、Perplexity Decider、Microsoft-Decision-1、Jev 1.14は見込みの1.5〜2.7倍外れました。インドの言語では、Prismの見込みが5.4%で外れは4.4%。ほかの4つのモデルは、見込みの2.7〜4.8倍外れました。

選択肢の並び順でも、答えは揺れます。Sarvam AIが2,000問の選択肢を4通りに並べ替えて試すと、答えが変わった問いはmammoth-1で8.8%、Perplexity Decider v1.2で10.3%、Jev 1.14で12.3%でした。Jev 1.14は、並べ替えずに同じ問いを4回送っただけでも、5.6%が変わりました。

Prismは、受け取った選択肢を名前の順に並べ直してから確率を出し、元の名前で返します。この処理を入れた状態では、答えが変わった問いは2,000問のうち0でした。送られた順のまま読むと、4.0%が変わります。

エージェントの実行の判定は、Claude Haiku 5.5より上

記録したエージェントの実行700件（1,770問）を判定させる試験も載っています。正解は、人の専門家の判定か、環境の自動の確認で付けたものです。全体の正解率はPrismが78.5%で、ClefとJev 1.14の76.4%、Claude Haiku 5.5の70.7%を上回りました。失敗の原因になったエージェントを当てる問いでは、Prismの69.6%と、Claude Haiku 5.5の37.0%で差が開きました。

Prismは1件の実行を、GPU 1枚でおよそ0.5秒で判定します。Sarvam AIの測定では、Claude Haiku 5.5はAPIで1件あたり中央値2.5秒、1,000件で0.64ドルでした。2026年7月以降に公開された脆弱性をもとにした自社の試験5,517問でも、Prismは89.0%で、Clefの84.5%を上回りました。フィッシングの見分けや、ジェイルブレイクの検出などを含む試験です。