本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Liquid AIのd1.2、判断モデルの指標で首位 音声にも対応

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

請求書を渡して「支払う金額は?」と聞くと、金額が、読み取った元の文字といっしょに返ってきます。書かれていなければ、推測で埋めずに「見つからない」と答えます。Liquid AIが11月16日に公開した判断モデルの新版「d1.2」と上位版の「d1.2-ultra」に、新しく加わった問い方です。

判断モデルは、文章を書く代わりに、問いへの答えを選択肢ごとの確率で返すモデルです。前の版は「はい・いいえ」や「選択肢から1つ」などに答えるだけでしたが、今回は値の読み取りや物の位置など、5つの問い方が増えました。音声も入力できます。料金は、前のd1とd1-ultraと同じです。

増えた5つの問い方と、社内の試験の結果

問い方d1.2-ultrad1.2
値を読むレシートの金額や日付など98%96%
当てはまる箇所をすべて探す文書の中の個人情報など。適合率/再現率94%/93%92%/88%
写真の中の物を囲む説明に合う物の位置94%94%
数を幅つきで見積もる写真の物の数を、誤差1以内で93%92%
当てはまる物をすべて選ぶ写真に写っている物87%90%

Liquid AIが、公開のデータセットの学習に使っていない部分で作った社内の試験の結果です。対象が無いときに「見つからない」と答えれば正解に数えます。

値を読む問いでは、文字、数、日付の3つの形で答えを受け取れます。箇所を探す問いは、名前や電話番号、メールアドレスのような箇所を、文書の中の位置といっしょに返します。数の見積もりは「12人、幅は10〜14人」のように答え、当てはまるものを選ぶ問いでは、選んだものごとに確率が付きます。

音声は、問いの対象にも、問いそのものにも使えます。話している言語や、後ろでサイレンが鳴っているかを聞けるほか、問いを文字で打たずに声で吹き込むこともできます。聞こえた音の種類や、43の言語のどれを話しているかを、3〜6の選択肢などから選ばせる試験では、どちらのモデルも95〜97%に正しく答えました。

判断モデルの指標で首位、費用は前の版と同じ

Artificial AnalysisのDecision Index v2.1で、d1.2-ultraは74.8点でした。判断モデルの中で最も高く、2位のDrex Max v1.1を約2点上回ります。

モデル指標100万件1件
d1.2-ultra74.8$1330.22秒
Drex Max v1.172.6$1030.28秒
SubQ Snap 1.272.6$1370.16秒
d1-ultra前の版70.6$1330.30秒
d1.268.7$630.15秒
d1前の版60.8$630.15秒
Claude Haiku 5.5(Max)言語モデル76.5$6,21832.3秒
GPT-6 Luna(Max)言語モデル75.7$1,54811.4秒

Artificial AnalysisのDecision Index v2.1の値(11月17日に閲覧)。費用は100万件あたりの米ドル、時間は1件あたりの平均です。

前の版と比べると、d1.2-ultraは4.2点、d1.2は7.9点上がりました。100万件の費用は、それぞれ前の版と変わりません。料金は入力のトークンだけにかかり、100万トークンあたりd1.2が0.02ドル、d1.2-ultraが0.042ドルです。画像は32×32ピクセルごとに1.5トークンで数え、1024×1024の画像なら1,536トークンになります。同じ書類に問いを足しても、増えるのは問いの文の分だけです。

Liquid AIは、確率の当たり具合(較正)も示しました。「80%」と答えたものが、実際に8割ほど当たっているかを測る値です。13のベンチマークの2万2,505問で、ずれはd1.2-ultraが0.8ポイント、d1.2が1.2ポイントでした。比べた中では、OpenAIのDecisions APIで動くGPT-6 Lunaが7.2ポイントと最も大きく、TypeSafeのJev 1.14が2.7ポイントです。こちらはLiquid AI自身の測定です。

確率で、人に回す分を決められる

ここからは編集部の見方です。言語モデルのClaude Haiku 5.5(Max)は、同じ指標でd1.2-ultraを2点近く上回ります。ただ、100万件の費用は約47倍で、1件に30秒あまりかかります。届いた書類を毎日何千件も仕分けるような処理なら、判断モデルの安さと速さが効いてきそうです。

確率の当たり具合がよければ、「確率が9割を切ったものだけ人が見る」といった線を引けます。値の読み取りが「見つからない」と答えられるようになったことも、請求書や申込書の処理では助かる点でしょう。もっとも、日本語の書類でどこまで読めるかは、発表からは分かりません。音声の試験の43の言語に日本語が入るかも、示されていません。

d1.2とd1.2-ultraは、Liquid AIのAPIで使えます。OpenRouterとVercelでも近く使えるようになる予定です。前の版についてはd1-ultraの記事、指標の仕組みはDecision Index v2の記事で紹介しました。

d1.2とd1.2-ultraは、現時点ではYOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ