本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

判断モデル、Transformersとllama.cppで同じ形に

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

「二重に請求された、今日中に返金してほしい」という問い合わせを、どの担当に回すか、どれほど急ぐか、返金を求めているか。こうした決まった選択肢から選ぶ仕事に、文章を書かせずに選択肢ごとの確率だけを返すのが「判断モデル」です。Hugging Faceは11月10日、このモデルをどの会社のものでも同じ書き方で呼べるよう、Pythonの部品集Transformersに専用の部品を加えたと発表しました。手元でモデルを動かすllama.cppも、同じ形のAPIに対応しました。

判断モデルは、9月にTypeSafe AIがJevを出してから、OpenAIのDecisions APIなど各社が相次いで公開しました。ただ、中の作りも呼び方もモデルごとにばらばらで、周りの道具はモデルごとに書き分ける必要がありました。Hugging Faceの狙いは、中の作りは自由なまま、受け取る情報と返す答えの形だけをそろえることにあります。

3つの問いの形

判断モデルには、評価する材料(state)と、問い(questions)を渡します。問いの形は3つです。

形問いの例返すもの
Choice選ぶどの担当に回すか(請求・技術・営業)選択肢ごとの確率例では請求が0.998
Score段階を測るどれほど急ぐか(低・中・高)段階の番号の期待値例では1.7
Noulはい・いいえ返金を求めているか「はい」の確率例では0.92

ChoiceとScoreは、確率が1つの答えにどれだけ集まったかを示す「確信度」も返します。均等なら0、1つに集まれば1です。

言語モデルにJSONで答えさせても同じことはできますが、決めた形を守らない答えが混じることがあり、選ぶだけの仕事に文章を1字ずつ書かせるのは手間がかかります。判断モデルは、選択肢ごとの確率を一度に出すため、アプリはその数字をそのまま使えます。確率と確信度が返るので、「確信度が低いときだけ人に回す」といった使い方もしやすくなります。

動かす、探す、学習させる

Transformersには、判断モデル用のパイプラインとモデルの読み込みの部品が入りました。手元で動かすサーバーは「/v1/systemone」というAPIを受け付け、llama.cppも同じAPIで、GGUFの形の判断モデルを動かせます。呼び出し側のコードを変えずに、モデルや動かす道具を替えられる形です。

判断モデルとして学習していない普通の言語モデルでも、対応するものなら同じAPIで試せる点も目を引きます。Transformersが判断の問いを組み立て、答えの候補ごとの数値を一度の計算で求めるため、文章は書きません。新しくモデルを学習させなくても、手持ちのモデルで判断の形を試せます。

Hugging Face Hubには、判断モデルを探すための「decision-model」の印も加わりました。ModernBERTのような小さな読み取り型のモデルから、大きな言語モデルをもとにしたものまで、作りの違うモデルが並びます。自社の問い合わせの振り分けに合わせて学習させ直すこともでき、ブログはTransformersの学習の部品で動く例を載せました。学習用の道具TRLの対応は準備中で、Unslothは言語モデルを判断モデルに作り替える手順を公開済みです。

読み取れること

判断モデルの使い道は、問い合わせの振り分け、優先度の判定、規則に当たるかどうかのチェックなど、日本の業務にも多くあります。呼び方がそろえば、まず手持ちの言語モデルで試し、うまくいけば小さな判断モデルに替えて費用と待ち時間を減らす、という段階的な移り方ができます。費用の差は判断モデルと言語モデルを比べた記事が参考になります。

ただ、ブログの例はすべて英語で、日本語の文での正確さには触れていません。日本語の問い合わせに使うなら、手元の実際の文で確率の出方を確かめてから使うのがよさそうです。また、この共通の形はOpenAIのDecisions APIとは別のもので、両者を同じコードで呼べるとは書かれていません。

YOBITSUGI AIで使えるか

判断モデルは、YOBITSUGI AIの対応モデルに含まれていません。

出典

共有XFacebookLINEはてブ