本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

話し終わりを見分けるSAVAと雑音除去、Inworldが公開

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

声で話すAIが気まずくなるのは、たいてい返事の間合いです。言葉を探して黙っただけなのに割り込まれたり、話し終えたのに待たされたりします。

声のAIを作るInworld AIは11月18日、この間合いを決める「SAVA」と、雑音を消して声だけを残す「Voice Isolator」を公開しました。重みとコードは、どちらも商用で使えるApache 2.0です。読み上げのモデルRealtime TTS-2と同じく、音声で会話するAIの部品にあたります。

項目SAVAVoice Isolator
役目SAVA話しているか、話し終えたかを判定Voice Isolator雑音を消して声だけ残す
大きさSAVA2,550万パラメーターVoice Isolator6,400万(録音用)・5,800万(リアルタイム用)
入力SAVA16kHz・モノラルVoice Isolator48kHz・モノラル
遅れSAVA先読み120ミリ秒(話し終わりの判定は先読みなし)Voice Isolatorリアルタイム用は先読み20ミリ秒
動く場所SAVACPUの1スレッドでも動くVoice IsolatorNVIDIAのGPU、Apple silicon、CPU
使用条件SAVAApache 2.0Voice IsolatorApache 2.0

Inworld AIの発表とモデルカードによります(11月19日に確認)。

SAVA:文の途中の「間」を見分ける

SAVAは、音声を流しながら40ミリ秒ごとに2つの確率を返します。その区切りに声が入っているかと、話し手の番が終わったかです。音だけでなく、それまでに話した文の中身も手がかりにするので、「それで、そのあと…」のような途中の間と、言い切ったあとの間を区別できます。咳や笑い声、音楽、キーボードの音を、声と取り違えにくいのも特長です。

Inworld AIが公開のデータで比べたところ、会議を録音したAMIでは差がはっきり出ました。5,043か所ある話し終わりのうち、200ミリ秒以内に判定できた割合は、SAVAが85.5%、比べた公開のモデルsmart-turn v3.2は30.8%です。判定までの時間の中央値も、71ミリ秒と210ミリ秒でした。ただし、ほかの試験では引き分けや負けもありました。合成音声をつないだ例が多いEasy Turnでは、0.51とsmart-turnの0.83を大きく下回ります。

日本語の結果も公開されました。14言語で話し終わりを測るeot-benchを日本語で見ると、無音が0.2秒続いた時点で読む設定ならSAVAが上回りました(指標のAUCで0.835と0.812)。無音のどの時点でも判定してよい設定では、0.851と0.867でsmart-turnが上です。

注意点もあります。SAVAはどの人の声にも反応し、話し手を選びません。小さく遠い声にも敏感なため、隣の部屋のテレビのような音で反応することもあります。「うん」「はい」のようなあいづちや割り込みをどう扱うかは、使う側のアプリで決める必要があります。

Voice Isolator:息や笑い声は消さない

Voice Isolatorは、周りの話し声や音楽、物音を消し、話し手の声の質や息づかい、音量はそのまま残します。多くの雑音除去は笑い声やため息まで雑音として消してしまいますが、Voice Isolatorはそれらを残すように学習させました。録音したファイル向けの版と、20ミリ秒の先読みで流しながら処理する版の2つがあります。

Inworld AIは、声がどれだけ残るかまで測る評価VIBEを自社で作り、試した公開の雑音除去の中で最もよい結果だったと発表しました。ただし、VIBEの問題は公開されていません。また、できるのは雑音を消すことだけで、質の悪いマイクの音を補う「復元」は次の版で検討中です。

ここからは編集部の見方です。音声で答える受付や電話窓口を作る会社にとって、間合いの判定は使い心地を大きく左右します。SAVAは日本語の結果も示され、小さくCPUで動くので、試す敷居は低いでしょう。一方、日本語の会話はあいづちが多く、試験の数字だけでは使い心地はわかりません。まず自社の通話の録音で、割り込みと待たせすぎの両方を数えてみるのが確実です。雑音の多い場所なら、Voice Isolatorで先に雑音を消す手もあります。

SAVAとVoice Isolatorは、現時点ではYOBITSUGI AIの対応モデルには含まれていません。

出典

共有XFacebookLINEはてブ