本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Phonon TTS、比較表でドイツ語とスペイン語の1位に 日本語は未対応

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

通信もサーバーも使わない読み上げモデルは、大きなモデルにどこまで迫れるのでしょうか。Gradiumの音声合成モデルPhononは、Hugging Faceの公開比較表Open TTS Leaderboardで、ドイツ語とスペイン語の聞き取りやすさが1位でした。重みのファイルは約65MBと75MBの2サイズです。GradiumとHugging Faceの開発者が11月5日に、公開から2週間の結果を報告しました。

モデルの種類とライセンス、Ollamaでの使い方は10月の記事にあります。Phononは日本語に対応していません。

聞き取りやすさは、英語だけ発表と違う

比較表は、生成した音声を音声認識で文字に戻し、元の文との単語の誤り率(WER)を測ります。値が小さいほど、正しく聞き取れる音声です。次の表は、11月5日に確認した最新版(11月3日更新)でのPhononの順位と誤り率です。右端は各言語の1位のモデルと、その誤り率です。

言語順位誤り率1位のモデル
ドイツ語1位20モデル中1.17Phonon
スペイン語1位21モデル中0.88Phonon
フランス語2位20モデル中2.89OmniVoice2.67
ポルトガル語2位17モデル中0.76Kokoro0.71
英語4位37モデル中0.73Ming-3.00.66

発表には「評価したすべての言語で3位以内」とあります。ただ英語は、10月30日の版の3位から、11月2日にMing-3.0が加わって4位に下がりました。ドイツ語の2位のs2-proは、比較表の表記でパラメーター数がPhononの約100倍あり、誤り率は1.23です。

この誤り率で分かるのは聞き取りやすさだけで、自然さや好みは測れません。Hugging Faceも、人による評価の代わりにはならないとしています。自然さの予測値UTMOSは英語だけが対象で、Phononは4.45、最も高いKokoroは4.51でした。

CPUでは、最初の音が最も早い

もう1つの表は、1件ずつ順に音声を出す場面の速さを測ります。CPUで測った11件のうち、Phononの2サイズが1位と2位でした。環境はHugging Face JobsのCPU(cpu-upgrade)、対象は英語の497件です。

モデル最初の音中央値遅いとき95%点生成速度実時間比
Phonon 31m19.5ms28.4ms16.3倍
Phonon 40m26.4ms38.0ms14.4倍
Pocket TTS125.9ms164.9ms3.2倍
Kokoro852.2ms2,373.6ms5.5倍

「遅いとき」は、95%の音声がこの時間までに出始める値です。生成速度は、計算1秒で作れる音声の秒数です。この表のKokoroは順次出力のAPIが無い扱いなので、最初の音は遅く出ます。Phononの測定にはGradium自身の実行環境pttsを使いました。Gradiumは10月の発表でノートPCのCPUなら7ミリ秒としていましたが、比較表の環境では19.5ミリ秒でした。

なお、比較表の最初の画面ではPhononの生成速度が低く並びます。PhononはCPU、ほかは原則GPU(H200)で測った値なので、そのままでは比べられません。

日本語で使いたいとき

Gradiumは提携先と個別のPhononモデルを学習しており、日本語、韓国語、アラビア語も学習できるとしています。料金や時期は書かれておらず、個別の相談が前提です。

今すぐ日本語の読み上げを試すなら、同じ比較表に18件の順位があります。日本語は単語ではなく文字の誤り率(CER)で測ります。

モデルパラメーター数誤り率ライセンス
1. OmniVoice8.1億4.22CC BY-NC
2. Supertonic 31億4.46Open RAIL-M
3. Magpie TTS3.1億4.53独自
4. Ming-3.014.8億4.70MIT
5. Kokoro8,000万5.06Apache 2.0

ライセンスは比較表の表記で、使う前にモデルカードで確かめる必要があります。日本語の自然さはこの数字からは分かりません。比較表のListenタブなら、日本語を選んで出力を聞き比べられます。

そのほかの内容

  • 公開から2週間のダウンロードは20万回を超えました。
  • Hugging Face Transformersにはv5.21から入り、GPUでまとめて音声を作る用途に向きます。端末で1本ずつ動かす用途は、CPU、GPU、NPUなど10以上の環境に対応するpttsを使います。
  • 内蔵の声は100種類以上です。Gradium Studioでは、本人の同意を得た短い録音から声を複製するか、文章で説明して新しい声を作れます。作った声はファイルで取り出し、端末の中で使います。
  • 商用で自由に使えるのは英語のPhonon 31m(Apache 2.0)です。ほかはCC BY-NCで、商用の料金は生成量ではなく利用者数で決まります。

ここからは編集部の見方です。電波の届かない場所で英語やヨーロッパの言語を読み上げる機器やアプリなら、有力な候補になりそうです。日本語の製品には当面使えないので、上の表の上位をライセンスを確かめたうえで試し、実際に聞いて選ぶのが現実的でしょう。

Phononは、現時点ではYOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ