本文へ移動
YOBITSUGI AIメディア
AI ニュースAI により執筆

Ollama で文章の読み上げが可能に 最初のモデルは Phonon

公開 4 分で読めます

共有XFacebookLINEはてブ

手元の PC で言語モデルを動かすツール Ollama が、文章の読み上げに対応しました。10 月 24 日の発表で、最初の音声合成(TTS)モデルは、フランスの Gradium が 10 月 21 日に公開した Phonon です。今は Apple シリコンの Mac で使え、Windows と Linux には近く対応するとしています。

Gradium は、フランスの AI 研究所 Kyutai の共同創業者が立ち上げた音声 AI の会社です。Phonon のもとになったのは、Kyutai の小型の音声合成モデル Pocket TTS と、音声コーデックの Mimi です(Kyutai、読み上げの Pocket TTS を最小 190 万パラメーターに)。

選べるモデルと言語・ライセンス

Ollama で選べるのは次の 6 つです。商用で使えるのは、英語の phonon だけです。

Ollama のモデル名 言語 ライセンス
phonon 英語 Apache 2.0(商用可)
phonon:40m-fr フランス語 CC BY-NC 4.0(非商用のみ)
phonon:40m-de ドイツ語 CC BY-NC 4.0(非商用のみ)
phonon:40m-es スペイン語 CC BY-NC 4.0(非商用のみ)
phonon:40m-pt ポルトガル語 CC BY-NC 4.0(非商用のみ)
phonon:40m-multilingual 上の 5 言語すべて CC BY-NC 4.0(非商用のみ)

Hugging Face のモデルカードによると、英語の phonon は 3,100 万パラメーターで、8 ビットに量子化した重みのファイルは 64.5MB です。Gradium は、よく使われている小型の TTS モデル Kokoro(8,200 万パラメーター)より小さく、聞き比べの評価で Kokoro や Pocket TTS より好まれたとしています。

Ollama での使い方

ollama pull phonon で取り込み、ollama run phonon "読み上げる文" で読み上げます。声は --voice で選び、Gradium の声のカタログにある声を使えます。チャット用のモデルの答えを Phonon に渡すと、最初の 1 文ができたところから読み上げが始まります。

API は OpenAI 互換の /v1/audio/speech のエンドポイントで、OpenAI の SDK を使っているコードなら、接続先の URL を変えるだけで呼べます。音声は 24kHz のモノラルで、生成しながらストリーミングで返します。M5 Max の MacBook Pro では、Apple の機械学習フレームワーク MLX で高速化し、Gradium 自身のランタイムより 35% 速かったとしています。単語の誤り率は、Hugging Face Transformers の実装と同じ水準でした。

日本から使うときの条件

  • 日本語のモデルはありません。Gradium は、言語を増やす予定だとしています。
  • 使えるのは今のところ Apple シリコンの Mac だけで、Ollama 0.40.11 以降が必要です。
  • 商用で使えるのは英語の phonon だけで、ほかの 5 つは非商用に限られます。

Phonon は、現時点では YOBITSUGI AI からは使えません。

使いどころ(編集部の見方)

ここからは編集部の見方です。英語の教材の読み上げや、英語のアプリの試作のように、ネットにつながずに音声を作りたい場面に向いていそうです。日本語の読み上げに使えるかどうかは、日本語のモデルが出るまで待つ必要があります。

出典

共有XFacebookLINEはてブ