Kyutai、読み上げの Pocket TTS を最小 190 万パラメーターに

フランスの非営利の AI 研究所 Kyutai は 10 月 20 日、文章を読み上げるモデル「Pocket TTS」を大幅に小さくしたモデルの一式を公開しました。もとの Pocket TTS は、声のまねもできて、パソコンの CPU でもその場で読み上げられる約 1 億パラメーターのモデルです。

要点

• 主な版は 1,820 万パラメーターで、前の版と同じ品質だとしています。
• いちばん小さい版は 190 万パラメーターで、大きさと品質の釣り合いを探った版も出しています。
• モデルの土台・音を作る部分・音声に戻す部分のそれぞれを小さくする方法を説明しています。
• CPU の 1 スレッドで、主な版は実時間の約 9.9 倍、最小の版は約 25 倍の速さです。
• 手元で動かすと、短い音声から声をまねることもできます。
• コードはオープンソースで、どのモデルも作り直せるとしています。

Kyutai は、ここで使った小さくする工夫の多くは、ほかの仕組みのモデルにも使えるとしています。公開の記事では、英語の声のほか、オランダ語・フランス語・イタリア語・ドイツ語・スペイン語・ブラジルのポルトガル語の声の例を聞けます。

日本の利用者にとって

公開された声の例に日本語はありません。とても小さいモデルなので、端末の中で読み上げを動かしたい開発者には参考になります。

YOBITSUGI AI で使えるか

現時点では YOBITSUGI AI からは使えません。