ElevenLabs、音声対話のモデル Eleven Realtime を公開

ElevenLabs は 10 月 20 日、音声で受け答えする AI を作るための新しい種類のモデル「Eleven Realtime」を公開しました。これまでは、音声の聞き取り、話し終わりの見分け、受け答えの順番、言語モデル、読み上げを別々に選んで組み合わせる必要がありましたが、Eleven Realtime は 1 つのモデルで音声のエージェントとして動きます。

要点

• 安く自然な会話向けの v1 Mini と、手順のある複雑な作業向けの v1 Max の 2 つです。
• どちらも 90 以上の言語に対応し、ElevenLabs の 1 万 7,000 以上の声を使えます。
• OpenAI の Realtime API と同じ形で、接続先とモデル名を変えるだけで試せるとしています。
• Artificial Analysis の音声での推論の評価では、v1 Max が 98.8%、v1 Mini が 75.9% でした。
• 話し始めまでの時間は、v1 Max が平均 0.57 秒、v1 Mini が 0.62 秒です。
• 道具を使う作業をやり遂げた割合は、v1 Max が 87.1%、v1 Mini が 60.3% でした。

間の取り方や割り込み、相づちを測る Full-Duplex-Bench では、v1 Mini が 95.8%、v1 Max が 94.1% でした。人が見比べて評価する Speech Agent Arena では、v1 Max が 998、v1 Mini が 988 でした。評価は Artificial Analysis が行ったものだと ElevenLabs は説明しています。ElevenLabs のエージェントの仕組み ElevenAgents でモデルを選んで使うほか、WebSocket でつなぐ Realtime API からも使えます。

日本の利用者にとって

発表では 90 以上の言語に対応するとしていますが、日本語での性能には触れていません。電話や Web、WhatsApp などで受け答えする音声のエージェントを作るためのモデルです。

YOBITSUGI AI で使えるか

YOBITSUGI AI では ElevenLabs の Eleven v4・Eleven v3・Eleven Multilingual v2・Eleven Flash v2.5・Eleven Music v2.5・効果音・Scribe v2 を使えます。今回発表された Eleven Realtime は、現時点の対応モデルには含まれていません。