本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Hume、音声の判定を11モデルで比較 人の評価に最も近い

執筆・監修: 佐々木 航公開 更新 7 分で読めます

共有XFacebookLINEはてブ

読み上げの声や通話の音質を出す前に確かめるには、人を集めて聞いてもらう試験が要ります。「この声は自然か」という一つの問いでも、評価者を集めて結果を待つまでに時間とお金がかかります。

Hume AIは11月13日(米国時間)、11月2日に発表した音声の判断モデル「Hume Audio Decision」を、ほかの10のモデルと比べた結果を公開しました。録音と質問を送ると、人が聞いたら各答えを選ぶ割合の見込みを返すモデルです。比べた相手には、Googleの最新の汎用モデルGemini 4 Hydrogenも含まれます。同じく答えの割合を返すGoogleの判断モデルGemini Decision 1も並びました。

人の評価に近いのはHume、音声の理解はGeminiも強い

評価は公開されている11種類で、3つの組に分かれます。人が聞いて付けた評価にどれだけ近いかを見る4つ、音声の中身や話し方の理解を問う5つ、音声からツールを呼び出す2つです。総合の点は、3つの組それぞれの平均をさらに平均した値です。1

モデル総合の点1問の時間1,000問の料金
Hume Audio Decision総合の点0.8001問の時間0.22秒1,000問の料金0.28ドル
Gemini 3.8 Flash総合の点0.7701問の時間3.33秒1,000問の料金1.00ドル
Gemini 4 Hydrogen総合の点0.7551問の時間5.22秒1,000問の料金4.43ドル
Qwen3.8-Omni-Flash総合の点0.7301問の時間10.23秒1,000問の料金0.34ドル
Gemini Decision 1総合の点0.6561問の時間0.42秒1,000問の料金0.05ドル
gpt-audio-1.5総合の点0.6541問の時間0.68秒1,000問の料金3.37ドル
Inkling-Small総合の点0.6501問の時間1.13秒1,000問の料金0.38ドル
Gemini 3.5 Flash Lite総合の点0.6131問の時間0.88秒1,000問の料金0.11ドル

Hume AIの11月13日の発表の値。総合の点は高いほど良く、時間と料金は低いほど良い値です。時間はサーバーでの処理時間の平均、料金は実際に請求された額で、Gemini Decision 1だけは入力の量と定価からの見積もりです。料金を測っていない3つのモデルは表から外しました。

差がはっきり出たのは、人の評価に近いかを見る4つです。音声の品質を測るNISQAでは、Hume Audio Decisionが0.762でした。2位のQwen3.8-Omni-Flashは0.583です。読み上げの声の自然さを測るSOMOSでも0.526で、2位のGemini 3.8 Flashは0.384でした。4つとも首位です。

一方、音声の理解を問う5つで首位を取れたのは2つだけでした。2つの録音の話し方を比べる問いと、どの言葉を強めて話したかを聞き分ける問いです。話の理解と推論を問うMMSUとMMARではGemini 4 Hydrogenが首位で、Hume Audio Decisionは3位と5位にとどまります。音声からツールを呼び出す2つは、Gemini 4 HydrogenとGemini 3.8 Flashが1つずつ首位でした。

1人に聞くより、集団の判断に近い

Hume AIは、人の評価者とも比べました。評価者を1人ずつ外し、その人が残りの集団とどれだけ一致するかを測ります。それをモデルの一致と並べる方法です。7つの比べのうち6つで、モデルのほうが集団に近い結果でした。たとえば、2つの声のどちらが自然かを選ぶDataPointでは、1人の評価者が多数派と同じ答えを選んだ割合は56.7%で、モデルは68.6%でした。ただし、音の作り込みの複雑さを問う項目だけは、人のほうがはっきり上でした(1人の評価者が0.738、モデルが0.435)。

何人の評価者の平均と同じくらい集団に近いかも示しました。NISQAではおよそ2.0人分、AudioMOS-AESではおよそ1.7人分です。DataPointとSOMOSでは、作れた最大の組(5人と4人)よりもモデルのほうが集団に近い結果でした。項目ごとの幅は大きく、音の大きさの評価では約6.3人分に当たる一方、作り込みの複雑さでは1人分に届きません。

答えの確からしさの見込みも、おおむね当たっていました。モデルが75%の確からしさで答えた問いでは、集団の答えと合ったのが74%です。この見込みが当たるなら、確からしさの低い録音だけを人に回す、といった振り分けに使えます。2

料金は100万トークンあたり0.47ドル

Hume Audio DecisionはHumeのAPIから使え、料金は100万Humeトークンあたり0.47ドルと示されました。今回の比べでは1,000問あたり平均0.28ドルです。総合の点が0.73以上のモデルの中では最も安く、Gemini 4 Hydrogenの約16分の1でした。ただ、Gemini Decision 1は1,000問あたり0.05ドルとさらに安く、答えも0.42秒と速めですが、人の評価に近いかを見る4つではどれもHume Audio Decisionを下回りました。

使い始めるには、手引きのページの「Get access」から申し込む形です。また、今のAPIは2つの音声を一度に送れません。そのため、2つの録音を比べる評価では速さと料金を測っていません。3

読み上げの声の点検に使うなら

比べる評価を選び、測ったのはHume AI自身です。総合の点などの主な値には、ばらつきの幅も付いていません。Hume AIは、評価に使ったDataPointとAudioMOS-AESは学習に使っておらず、NISQAとSOMOSも試験用の部分は学習から外したと説明しています。それでも、1つのデータに合わせて学習させた専用の採点モデルなら、点が上回る場合もあると認めました。

日本語の音声での成績は、今回も示されませんでした。つまり、日本語の読み上げの声や通話の点検に使うなら、まず自社の録音の一部に人が付けた評価と並べ、どの問いならどこまで合うかを確かめるのが先です。人が聞く試験をすべて置き換えるより、大量の録音をふるいにかけ、怪しいものだけを人が聞く使い方のほうが、今回の結果に合います。

Hume Audio Decisionは、YOBITSUGI AIで公開している対応AIの一覧には含まれていません。Gemini 4 HydrogenとGemini Decision 1も同じです。YOBITSUGI AIで使えるGoogleのモデルは、Gemini 4 ArgonとGemini 3.8 Flashです。

出典

注

  1. 人の評価に近いかを見る4つは、AudioMOS-AES(12,240問)、NISQA(3,560問)、SOMOS(2,047問)、DataPoint(6,300組)です。Hume Audio DecisionとGemini Decision 1は答えの割合を返すため、割合が最も高い答えで採点しました。Gemini 4 Hydrogenは11月12日に、考える量を既定のままにして測りました。11月2日の発表で示した平均0.82は、別の10の評価の平均で、今回の総合の点とは数え方が違います。料金を測っていないClef-Omni、Nemotron 3 Nano Omni、Kimi-Audio-7Bの総合の点は、0.672、0.584、0.562でした。 ↩

  2. 確からしさの見込みと実際の一致のずれ(ECE)は、Hume社内の6,849問で0.010、NISQAで0.044、SOMOSで0.043、AudioMOS-AESで0.112、DataPointで0.113でした。低いほど見込みが当たっていることを表します。比べたQwen3-Omni-30B-A3B-Instructは、NISQAで0.602でした。 ↩

  3. 時間は、評価ごとに200件の問いを1件ずつ送って測った、サーバーでの処理時間の平均です。Hume Audio Decisionは10の評価のうち8つで測りました。Gemini Decision 1の料金は、11月11日時点の定価(100万入力トークンあたり0.10ドル)から見積もった値です。 ↩

共有XFacebookLINEはてブ