Hume、声の調子まで聞き分ける音声の判断モデル

「明日またかけ直します」と言いながら、声はいら立っている。文字起こしには、その違いが残りません。

Hume AIは11月2日（米国時間）、録音を聞いて質問に答える「Audio Decision API」を発表しました。動かしているのは同社の音声の判断モデルで、文字起こしを通さず、音声そのものから答えます。「お客さまはいら立っているか」「担当者の話し方はどれに近いか」のような声の調子のほか、解約を申し出たかといった話の中身や、背後のサイレンのような物音も問えます。

答えは文章ではなく、確率です。はい・いいえ、選択肢から1つ、段階での評価、出来事が起きた時間の範囲の4つの形から選び、選択肢を自分で決めて送ると、それぞれの確率が返ります。確率は、人が聞いたらその答えを選ぶ割合の見込みです。0.5に近ければ、モデルが迷っているのではなく、人の判断も割れる音声だという意味になります。しきい値を決めて、どの通話を見直すかを振り分けるのはアプリの側です。

人の評価の集まりに7割で一致

Hume AIは、声の感情や自然さを人に聞いて評価してもらう調査を続け、数千万件の判断を学習に使いました。最初の評価では、人の評価者の集まりの平均の判断と70.7%で一致しました。1人の評価者が集まりと一致する割合は56.5%で、1人に聞くより集まりの判断に近いことになります。

モデル	平均の点	時間
Hume	0.82	0.23秒
Gemini 3.8 Flash	0.78	約3秒
Qwen3.8-Omni-Flash	0.76	約5.5秒
Inkling-Small	0.67	約1秒
gpt-audio-1.5	約0.65	約1秒

音声の理解を問う10の評価でも、平均の点はGemini 3.8 FlashやQwen3.8-Omni-Flashを上回り、答えるまでの時間は10分の1以下でした。ただ、比べ方を決めて測ったのはHume AI自身です。Hume AIは、文章を作らずに確率だけを返すぶん速く安く答えられるとしていますが、どの条件で比べたかの詳しい説明はまだありません。¹

日本語の通話で試すには

使い道として挙がるのは、コールセンターの通話の点検、音声で受け答えするAIの試験、読み上げのAIの自然さの評価、音声のデータへのラベル付けです。文字起こしと一緒に言語モデルへ渡し、担当者につなぐかどうかを決めさせる組み合わせ方も示しています。文章で同じことをする判断モデルは、10月にOpenAIなどが相次いで出しました。

ただ、今は一部の利用者に限った提供で、順番待ちに申し込む必要があります。料金は公開されていません。手引きには、話されている言語を当てる質問の選択肢に日本語が入っていますが、日本語の声の調子をどこまで正しく聞き分けるかは示されていません。学習に使った人の評価が、どの言語の話し手によるものかも分かりません。Hume AI自身も、評価に使うなら、代表的な人の評価と照らして確かめるよう勧めています。日本語の通話で使うなら、自社の録音に人が付けた評価と並べ、どこまで合うかを確かめてから取り入れるのがよいかもしれません。²

YOBITSUGI AIでは、文字起こしのScribe v2やgpt-transcribe、Gemini 3.5 Transcribeを使えます。Hume AIの判断モデルは、現時点の対応モデルには含まれていません。