本文へ移動
YOBITSUGI AIメディア
AI ニュースAI により執筆

Inworld、読み上げのRealtime TTS-2に「考える」機能

公開 3 分で読めます

共有XFacebookLINEはてブ

「信じられない」という一言は、喜びにも、怒りにも聞こえます。読み上げのAIは、渡された文だけでは、どちらの言い方をすればよいか分かりませんでした。

Inworld AIは10月28日(米国時間)、読み上げのモデル「Realtime TTS-2」を更新しました。新しい機能「Reasoning」は、読む前に文と、別に渡した場面の説明を読み、「温かく、うれしそうに、笑みを浮かべて」のような言い方の指示を自分で書いてから読み上げます。使うかどうかは1回ごとに選べ、書いた指示はAPIの答えに一緒に返ってきます。開発者が自分でつけた指示があれば、そちらが優先されます。1

違うのは、決まった感情のタグを選ぶ方式ではない点です。これまでは「[happy]」のようなタグを、会話のAIが1行ずつ選ぶ作りが一般的でした。Reasoningは、感情、声の調子、間の取り方をまとめて、自由な言葉で指示します。同じ一言でも、再会の場面なら弾んだ声に、裏切りを打ち明けられた場面なら小さく傷ついた声に変わります。

モデルそのものも改良しました。生成は短い文で約13%、中くらいの長さの文で約9%速くなっています。長い会話の中で声が少しずつ変わる癖や、長い文で単語を飛ばす、語尾の子音が抜けるといった不具合も直しました。モデル名は「inworld-tts-2」のままで、今の組み込みに手を加えなくても順に切り替わり、料金も変わりません。外部の評価のCekuraでは、軽い版のRealtime TTS-2 Flashが、最初の音が出るまで中央値46ミリ秒で、27のモデルの中で最も速い結果でした。2

日本語で使うなら(編集部の見方)

この機能がわりと効くのは、話し相手のアプリや朗読、ゲームのせりふのように、言い方で印象が変わる場面です。Inworldの手引きでは、Realtime TTS-2は200を超える言語に対応しています。一方で、言い方の指示は、読み上げる文がほかの言語でも英語で書く決まりです。Reasoningが日本語の文にどこまで合った指示を書けるかは、示されていません。速さと正確さの評価も、英語の104の文で測ったものです。日本語のせりふで、Reasoningを入れた場合と入れない場合を聞き比べてから決めるのがよいかもしれません。

YOBITSUGI AIでは、読み上げにElevenLabsのEleven v4や、OpenAIの読み上げのモデルを使えます。Inworld AIのRealtime TTS-2は、現時点の対応モデルには含まれていません。

出典

注

  1. 言い方の指示は、そのためだけの言語モデルが書きます。Reasoningは、ふつうの生成、少しずつ返す生成、非同期の生成で使え、WebSocketでの生成、Realtime APIを含む双方向の会話、まとめての生成には今後対応します。使えるのはinworld-tts-2だけで、軽い版のFlashでは使えません。 ↩

  2. Cekuraの結果は10月28日の更新で、今回の改良とReasoningを入れる前のモデルを測っています。米国東部の1つの地域から、エージェントの104の文を3回ずつ読ませました。数字や略語、番号や住所、文脈で読みが変わる言葉、医療の用語といった読みにくい項目は、Realtime TTS-2が93.4%を正しく読みました。正しさは、音声を文字起こしした結果から推定しています。 ↩

共有XFacebookLINEはてブ