Baseten、判断モデル mammoth-1 と elephant-1 を公開

AI のモデルを動かす基盤を提供する米国の Baseten は 10 月 22 日、社内の研究チーム Base Labs が作った「判断モデル」の mammoth-1(270 億パラメーター)と elephant-1(90 億パラメーター)を公開しました。どちらも Alibaba の Qwen3.5 をもとに追加で学習したモデルで、重みを Hugging Face で公開し、Baseten の API では 1 週間、無料で試せます。

判断モデルは、文章を書く代わりに、答えの候補ごとの確からしさ(足すと 1 になる点数)を返すモデルです。10 月に入って OpenAI や Cloudflare なども発表しており、新しい種類のモデルとして広がっています(判断モデルの公開が相次ぐ OpenAI や Microsoft も)。

要点

• 問い合わせの振り分けのような選択、緊急度のような点数、迷惑メールかどうかの判定に使えます。
• mammoth-1 は、判断モデルの評価 Jev Decision Index 0.4 で 208 のモデルの中で 1 位でした。
• elephant-1 は、同じ評価で 90 億パラメーターの判断モデルの中で最も高い成績でした。
• 文章を作らないため、推論する言語モデルより最大で 10 倍速いとしています。
• 確からしさのしきい値を決め、自信が低いときだけ人に回すといった使い方ができます。
• 自信が持てないときに「分からない」と答えることも学習させています。

学習には、公開のデータと合成したデータを合わせた 621 万件の判断の例を使いました。知識と推論、言語、道具と自動化、検索と分類、芸術と好みの 5 つの分野にわたります。Baseten は、幅広い知識が要る仕事には mammoth-1 を、素早い判断が中心なら elephant-1 を勧めています。判断モデルを選ぶときは、難しい例を含めた正確さ、自信の度合いが当たっているか、想定する量での速さと費用を確かめるよう助言しています。

評価の点数は、Jev Decision Index で mammoth-1 が 71.24 でした。Artificial Analysis の判断モデルの評価(Decision Index)では、mammoth-1 が 65.9、elephant-1 が 65.2 です。Artificial Analysis の判断モデルの評価については、10 月 14 日に記事にしています(Artificial Analysis、判断モデルの評価指標を公開)。

日本の利用者にとって

発表では、日本語での性能には触れていません。問い合わせの振り分けや不正の判定など、決まった選択肢から選ぶ仕事に生成 AI を使っている場合は、費用と速さを下げる選び方として参考になります。

YOBITSUGI AI で使えるか

現時点では YOBITSUGI AI からは使えません。