ElevenLabs、文字と音声の時刻を合わせるCueを公開
公開 3 分で読めます
字幕が1秒遅れて出るだけで、動画は急に見づらくなります。
ElevenLabsは10月28日、音声と文章を照らし合わせ、1文字ずつ話された時刻を付けるモデル「Cue」を発表しました。この処理を強制アラインメントといいます。ElevenLabsは、文字起こしのモデルScribeのすべての処理でCueを使っていて、字幕や吹き替え、歌詞の表示にも使います。Forced Alignment APIで、単体でも呼び出せます。
違うのは、長さと速さです。多くのツールは30秒ほどに区切って処理するため、つなぎ目でずれがたまります。Cueは長い録音も1回で扱い、1時間の音声をおよそ0.5秒で処理します。録音全体での時刻のずれは平均179ミリ秒で、比べたオープンソースのツールは283ミリ秒から6,000ミリ秒を超えました。評価に使った29言語のすべてで、試したほかのツールより正確だったとしています。1
歌にも使えます。英語やフランス語など4言語の歌で、92.7%の単語を正解から0.3秒以内に置き、次によいツールの82.0%を上回りました。2
字幕づくりで効く場面（編集部の見方）
公式の手引きでは、APIの対応言語に日本語が入っていて、料金は文字起こしのAPIと同じです。3動画の字幕、音声つきの電子書籍、会議の録音の頭出しなど、文章と音声がそろっている作業で使いどころがあります。ただ、日本語だけの評価の値は示されていません。比べた相手も、ElevenLabsが自社に届いた録音で選んだツールです。話すのが速い日本語の会話や、雑音の多い録音でどこまでずれないかは、手元の素材で確かめるのがよいかもしれません。
YOBITSUGI AIでは、ElevenLabsの文字起こしのScribe v2を使えます。単体のForced Alignment APIは、現時点の対応には含まれていません。
出典
- How your transcript knows where each word is spoken（ElevenLabs blog・2026年10月28日）
- Forced Alignment（ElevenLabs Docs・2026年10月29日に確認）
注
評価は、ElevenLabsに実際に届いた録音から作りました。前のモデルを基準にし、時刻を置けなかった単語も誤りとして数えています。雑音のある英語の録音では、Cueの平均のずれは57ミリ秒、ほかのツールは65〜920ミリ秒でした。処理の速さは、次に速いQwen3-ForcedAlignerが約2秒、いちばん遅いツールは1分を大きく超えました。29言語すべてを扱えたほかのツールは、MMS-FAだけです。Cueは前のモデルより小さく、GPUで動きます。 ↩
Creative Commonsの歌詞のデータJamendoLyrics MultiLangのうち、英語、フランス語、スペイン語、ドイツ語の22曲で測りました。歌い出しのずれは平均0.82秒で、最も近いツールの約半分です。22曲中、少なくとも19曲でほかのどのツールより正確でした。 ↩
1つのファイルは3GB、10時間まで、文章は67万5,000文字までです。話し手を分けた形の文章には対応していません。 ↩
