本文へ移動
YOBITSUGI AIメディア
AI ニュースAI により執筆

Baseten、20億パラメーターの判断モデルjoey-1を公開

公開 3 分で読めます

共有XFacebookLINEはてブ

問い合わせを1件振り分けるたびに、大きなモデルに文章を書かせる必要はあるのでしょうか。

AIの実行基盤のBasetenは10月29日(米国時間)、社内の研究チームBase Labsが作った判断モデル「joey-1」を公開しました。10月22日に出したmammoth-1とelephant-1と同じデータと手順で学習した、いちばん小さく速いモデルです。もとはAlibabaのQwen3.5-2Bで、文章と画像を読めます。重みは、Hugging FaceでMITライセンスで公開しました。

判断モデルは、文章を書く代わりに、選択肢ごとの確からしさを返します。joey-1は、「はい」の確率、選んだ選択肢と確率、段階の点数と確率の3つの形で答えます。1

違うのは、速さと値段です。平均2,000トークンの依頼に、中央値20ミリ秒で答えます。elephant-1の49ミリ秒より約2.5倍速い値です。料金は100万トークンあたり0.01ドルで、mammoth-1の10分の1。500トークンの問い合わせを月に1,000万件さばくと、mammoth-1では約500ドルかかりますが、joey-1なら約50ドルで済む計算です。2

モデル 判断の評価の点
joey-1 63.30
Cloudflare Clef 61.71
Perplexity Decider Flash v1.2 60.06
elephant-1 72.24

そのかわり、正確さは大きいモデルに及びません。判断モデルの評価Jev Decision Index 0.4で、joey-1は230のモデルの中で37位でした。CloudflareのClefやPerplexityのDecider Flashよりは上で、30億パラメーター以下の判断モデルでは最も強いとしています。3

小さいモデルを1段目に置く(編集部の見方)

Basetenは、joey-1を最初の窓口に置く使い方を勧めます。自信が低いときだけ、elephant-1やmammoth-1に回す形です。だから、迷惑な投稿の判定や問い合わせの担当の振り分けのように、件数が多く、待たせたくない仕事に向いているでしょう。ただ、Hugging Faceの説明には言語として英語しか挙がっておらず、日本語の性能は示されていません。日本語の問い合わせに使うなら、過去のデータでまず試し、足りなければ追加で学習させる手があります。その手順がGitHubで公開されているのも、わりと手軽な点です。大きなモデルに回す件数を絞るだけで、判断の費用の大半を削れる仕事もあるかもしれません。

YOBITSUGI AIでは、Basetenのjoey-1は対応モデルに含まれていません。問い合わせの振り分けのような判断は、Claude HaikuやGPT-6 Lunaのような軽いモデルに頼めます。

出典

注

  1. 同じ前置きを持つ複数の問いに、1回の読み込みでまとめて答えられます。手元で動かすには、CUDAのGPUが1枚あれば足ります。 ↩

  2. 20ミリ秒は、依頼を送ってから答えが返るまでの時間の中央値です。BasetenのAPIでは、送った内容を既定で保存しません。APIで送れる長さは1万6千トークンまでで、専用の環境を借りれば26万2千トークンまで広がり、追加で学習させた重みも使えます。 ↩

  3. Jev Decision Index 0.4の公開分の値です。elephant-1は90億パラメーターです。Base Labsが手元で再現したArtificial Analysisの判断モデルの評価では、mammoth-1が65.9、elephant-1が65.2、joey-1が62.9でした。社内の評価の詳しい内容は、後日出すとしています。 ↩

共有XFacebookLINEはてブ