Mistral AI、音声のモデル Voxtral 3 を公開

Mistral AI は 10 月 20 日、音声のモデルの新しい系列「Voxtral 3」を公開しました。文字起こしのモデル 3 つと読み上げのモデル 1 つに加え、電話の応対のような、聞いて考えて話す音声のエージェントを作るための SDK も用意しています。

要点

• 文字起こしは、精度重視の Small Transcribe 3 と、軽い Mini Transcribe 3 の 2 つです。
• Mini Transcribe Realtime 3 は、0.5 秒未満の遅れで 40 以上の言語をその場で文字にします。
• 読み上げの Voxtral Speech 3 は、35 以上の言語と 50 以上の方言で話せるとしています。
• 音声エージェントの SDK は、聞き取り・推論・読み上げを流れるようにつなぎ、1 回の受け答えを 1 秒未満で返します。
• 料金は文字起こしが 1 分 $0.0035〜$0.008、読み上げが 100 万文字 $13 です。
• Mistral の API(欧州・米国・世界の窓口)で使え、自社の設備に置くこともできます。

音声エージェントの SDK は LiveKit をもとにしていて、相手が話し終わったのを見分けて Mistral Small などのモデルに考えさせ、会話の調子に合わせて読み上げます。相手が話し始めると読み上げを止めます。本人の確認、請求の確認、予約などを、関数の呼び出しや Web 検索、社内の情報の検索を使ってこなせるとしています。電話(SIP)やブラウザ・アプリ(WebRTC)からも使えます。音声エージェントの API の料金は、推論に Mistral Small 4 を使うと 1 分 $0.04、ほかのモデルでは 1 分 $0.08 です。

日本の利用者にとって

文字起こしの精度の比べ方の説明には日本語が含まれています(日本語は文字の誤り率で測定)。一方、読み上げのあらかじめ用意された声は 18 の言語で、日本語は含まれていません。料金は米ドルで示されています。

YOBITSUGI AI で使えるか

YOBITSUGI AI では Mistral AI の Mistral Large 4・Mistral Medium 3.5・Mistral Small 4・Codestral・Mistral OCR を使えます。今回発表された Voxtral 3 は、現時点の対応モデルには含まれていません。Mistral AI については、Mistral AI とはにまとめています。