本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Liquid AIが音声コーデック公開 日本語は自然さ首位、誤りは最多

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

音声で話すAIは、声をいったん記号の列に変えてから扱い、答えの記号を声に戻します。この行き来を受け持つのが音声コーデックです。米国のLiquid AIは11月12日(米国時間)、自社で作った音声コーデック「LiquidCodec」の仕組みと評価を公開しました。10月末に出した小型の音声モデルLFM3-Audio-2BとLFM3-Omni-2Bの土台です。重みはHugging Faceにあり、Transformersで読み込めます。日本語も評価に入っていて、良い面と弱い面がはっきり分かれました。

小さく、速く、予測しやすい

LiquidCodecは約7,400万パラメータです。24kHzの声を80ミリ秒ごとに区切り、1区切りを12個の記号で表します。データ量にすると毎秒約1.65キロビットです。以前のモデルが使っていた外部のコーデックMimiは約9,600万パラメータでした。1

自社で作り直すとき、いちばん重視したのは、音声モデルが記号を予測しやすいことでした。Mimiの方式では、1区切りの記号を前から順に決める必要があります。一方、LiquidCodecは12個を互いに独立に作るため、音声モデルは12個をまとめて予測できます。学習には107の言語で26万4,000時間の声を使い、より雑音の少ない5万5,000時間で仕上げました。

速さも売りです。Apple M4 MaxのCPUの1スレッドで動かすと、声を記号にする処理は実際の長さの約361倍、声に戻す処理は約87倍の速さでした。つまり、Mimiより記号にする処理が約13倍、戻す処理が約3倍速くなります。また、声に戻す部分は4ビットにしても音質がほとんど落ちず、大きさは3.5分の1になります。2

日本語では、自然さは最高でも誤りが多い

評価は2種類ありました。1つは、声を記号にして戻したときに、元の声とどれだけ近いかです。もう1つは、同じ条件で読み上げのモデルを学習させ、文章を読ませた結果です。読み上げのモデルは、コーデックごとに同じデータ、同じ大きさ、同じ計算量で作りました。

コーデック戻した声の音質読み上げの自然さ読み上げの文字の誤り
LiquidCodec戻した声の音質4.162読み上げの自然さ3.05読み上げの文字の誤り7.29%
LiquidCodec(4ビット)戻した声の音質4.120読み上げの自然さ2.98読み上げの文字の誤り7.32%
X-Codec 2戻した声の音質3.805読み上げの自然さ2.94読み上げの文字の誤り5.40%
NanoCodec戻した声の音質4.089読み上げの自然さ2.84読み上げの文字の誤り5.58%
Mimi戻した声の音質3.982読み上げの自然さ2.49読み上げの文字の誤り6.27%

Liquid AIの11月12日の発表から、日本語のFLEURSの値。音質はViSQOL、自然さはUTMOSv2で、どちらも高いほど良い値です。文字の誤りは低いほど良い値です。4ビットは、声に戻す部分だけを4ビットにした形です。

戻した声の音質と読み上げの自然さは、日本語でもLiquidCodecが最高でした。ところが、読み上げた声を文字に起こして原文と比べると、誤りは7.29%で、比べた4つの中で最も多くなりました。いちばん少ないX-Codec 2の5.40%とは、2ポイント近い差があります。

この傾向は日本語だけではありません。8つの評価のうち、LiquidCodecの誤りが最も少なかったのは、英語の2つと、中国語のSeed-TTS、ドイツ語の4つです。FLEURSの中国語と日本語では4つの中で最も多く、韓国語でも2番目に多い値でした。なお、読み上げのモデルの土台を別の会社のQwen3-1.7Bに替えても、全体の結果は変わらなかったとしています。3

使うには

Hugging FaceのLiquidAI/Liquid-Codecで、元の精度の重みを配っています。声に戻す部分を量子化した形は単独では出しておらず、手元で動かすならLFM3-Audio-2BとLFM3-Omni-2BのGGUFに入った形を、llama.cppで使います。ライセンスはLiquid AI独自のLFM Open License v1.0です。年商1,000万ドル未満の会社なら商用で使えますが、それ以上の会社は対象外です。

日本語の読み上げに使うなら

LFM3-Audioで日本語を読ませると、声は自然でも、言葉の読み違いや抜けが出やすいかもしれません。ただ、今回の比べはコーデックだけを入れ替えた実験で、LFM3-Audio-2Bそのものの日本語の成績はまだ示されていません。日本語の読み上げに使うなら、固有名詞や数字の多い文で、自分の原稿を読ませて聞き比べるのが確実です。

LiquidCodecやLFM3の音声モデルは、現時点ではYOBITSUGI AIからは使えません。

出典

注

  1. Mimiは8個の記号を使う設定で毎秒1.1キロビットです。表のMimiは、12個の記号を使う設定で比べた値です。LiquidCodecの前の世代のLFM2.5-Audio-1.5Bでは、声に戻す部分だけを自社製に替え、8倍速くしていました。 ↩

  2. 速さは32ビットの精度で測った値です。声を記号にする処理の速さは、X-Codec 2の約260倍、NanoCodecの約77倍です。声に戻す処理では、X-Codec 2の約3.3倍、NanoCodecの約22倍でした。 ↩

  3. 読み上げのモデルは、6つの言語の10万1,000時間の声で学習させ、参照の声を与えずに読ませました。結果は3回の生成の平均です。日本語の評価で声を戻したときの文字の誤りは、NanoCodecの6.02%がいちばん少なく、LiquidCodecは6.80%でした。 ↩

共有XFacebookLINEはてブ