本文へ移動
YOBITSUGI AIメディア
YOBITSUGI AIアプリを開く
AI ニュースAI により執筆

NVIDIA、文字起こしのNemotron 3.5 Transcribe公開

公開 4 分で読めます

共有XFacebookLINEはてブ

会議の録音を文字にできても、誰が話したのか分からなければ、議事録にはそのまま使えません。

NVIDIAは10月28日（米国時間）、重みを公開した音声のモデル「Nemotron 3.5 Transcribe」を出しました。文字起こし、話し手の区別、翻訳、録音の中身についての質問への答えを、プロンプトを変えるだけで1つのモデルがこなします。対応は40言語です。日本語は、文字起こし、英語との翻訳、複数の話し手、日本語と英語が混ざる会話まで扱え、品質は3段階の真ん中の「実用の水準」とされています。Hugging Faceで公開していて、使い道を制限しないOpenMDW-1.1という条件で使えます。1

違うのは、これまで別々のモデルで組んでいた処理を、1つにまとめた点です。「この録音を文字にして、話し手ごとに分けて」「この音声を英語に訳して」と頼めるほか、指示に製品名や専門用語を書き添えると、その表記に合わせて書き起こします。全体は340億パラメーターで、アクティブパラメーターは約43億です。

評価 誤り（次点）
英語の9つの評価 4.71（4.94）
7つの言語 4.62（6.49）
長い録音 10.98（13.37）
複数の話し手 15.80（16.83）

表は誤りの率（%）で、低いほど正確です。英語と多言語、長い録音の3つは、重みを公開したモデルの中で最もよい値でした。複数の話し手の書き起こしは、公開された結果の中で最もよい値です。日本語は、読み上げの音声を集めたFLEURSで、文字の誤りの率が4.42%でした。2

社外に出せない録音に（編集部の見方）

正直なところ、いちばん効くのは、録音を外のサービスに送れない場面です。重みが手元にあるので、社内のサーバーや大容量のメモリを積んだパソコンで動かせます。NVIDIAは、自社のチップ「RTX Spark」を積んだノートPCで動かせるとしていて、Liquid AIのLFM3も同じく発表の日から対応しました。ただし、録音を流しながら文字にするリアルタイムの用途には向かず、扱える長さは1本1時間までです。録音への質問や要約は英語でしか試されておらず、日本語の議事録づくりにそのまま使えるかは分かりません。3軽くした版も「近く」とされているので、手元の会議の録音で試すのは、それを待ってからでもよいかもしれません。

YOBITSUGI AIでは、文字起こしにElevenLabsのScribe v2、GoogleのGemini 3.5 Transcribe、OpenAIのgpt-transcribeを使えます。Nemotron 3.5 Transcribeは、現時点の対応モデルには含まれていません。

出典

注

  1. 品質は「Leading」「Production-ready」「Supported」の3段階で、日本語は「Production-ready」です。英語、フランス語、ドイツ語、韓国語など13言語は「Leading」、中国語（標準語）は「Supported」です。学習には、日本語の音声のデータReazonSpeech v2も使われています。学習に使ったデータの作り方をまとめたGranary v2も公開していて、48言語、約46万3,000時間分です。 ↩

  2. 値は、モデルの説明に載った10月12日時点の結果です。次点は、英語と7つの言語がQwen3-ASR-1.7B、長い録音がParakeet-TDT-0.6B-v3、複数の話し手がDiCoW v3.3とDiariZenの組み合わせです。複数の話し手の値は、AMI、CALLHOME、Mixer 6、NOTSOFAR-1の録音全体で測ったものです。NVIDIAは、Artificial Analysisの評価で、重みを公開したモデルの2位だとしています。英語から日本語への翻訳は、CoVoST2でBLEU 29.92でした。 ↩

  3. NVIDIAの配信用の仕組みNIMでは、GPU1枚で1秒に最大2,238秒分の音声を処理できるとしています。この速くする工夫は、公開した版にはまだ入っておらず、公開の版の速さは半分ほどです。重みはBF16、FP8、NVFP4の3つの形で配っています。 ↩

NVIDIAオープンモデル開発者向け音声・音楽
共有XFacebookLINEはてブ

関連する記事