Nemotron 3.5 Super VL、AWSで使えるように
執筆・監修: 佐々木 航公開 更新 3 分で読めます
10月に重みが公開されたNVIDIAのNemotron 3.5 Super VLを、自社のAWSアカウント内で動かせるようになりました。AWSは11月9日、このモデルをAmazon SageMaker JumpStartで提供し始めたと発表しました。SageMaker Studioの画面から数ステップで、またはSageMakerのPython SDKの数行で、推論の窓口(エンドポイント)を作れます。
Nemotron 3.5 Super VLは、画像・動画・文章を読んで文章を返すモデルです。総パラメーターは1,200億で、1回に使うのは120億のMoEです。NVIDIAは、書類の読み取り、コンピューターを操作するエージェントによる画面の理解、動画への質問、画像を扱うエージェントに向けて作りました。対応する言語は、英語・フランス語・ドイツ語・イタリア語・日本語・スペイン語・中国語です。
2つの形と、動かすインスタンス
JumpStartでは、軽くしたNVFP4と、元の精度のBF16の2つを選べます。
| NVFP4 | BF16 | |
|---|---|---|
| 向く使い方 | 推論を速く安く | 追加学習や独自の量子化の元 |
| 重みの大きさ | 約75GB | 約249GB |
| 既定のインスタンス | ml.g7.24xlargeRTX PRO 4500 Blackwell 4枚・128GB | ml.p5en.48xlargeH200 8枚・1,128GB |
| 出力の速さ | 毎秒63.07トークン | 毎秒140.85トークン |
| 最初の1トークン | 0.45秒 | 0.53秒 |
速さは、入力250・出力1,500トークンで、5つのリクエストを同時に流したときの1リクエストあたりの平均(AWSの測定)。2つは使うGPUが違うため、精度だけの比べではありません。
NVFP4はBF16から精度を落とした形ですが、NVIDIAの評価では、長い書類の理解(MMLongBench-Doc)でBF16と同じ62.82でした。ほかの評価の差も約1点以内で、文字の読み取り(OCRBench v2)とコンピューターの操作(OSWorld-Verified)では、わずかに上回りました。
使う前に知っておきたい制限
- 扱う長さ: モデルは最大100万トークンを扱えますが、JumpStartの設定は520〜15,600トークンが前提です。
- 1回に送れる数: 画像1枚と動画1本までです。1ページ1,536×1,024の画像は、約1,536トークンになります。
- 使えない機能: LoRAのアダプターは読み込めません。モデルに入っている先読みの仕組み(MTP)を使う推測デコーディングも、JumpStartの設定では無効です。
- 利用枠: ml.g7の利用枠は、新しいアカウントでは0から始まります。動かす前に、Service Quotasで引き上げを申し込みます。
ライセンスは、NVIDIAのOpenMDW License Agreement 1.1です。
ここからは編集部の見方です。表のとおり、ふだん使うならNVFP4で足りるでしょう。重みが約3分の1で、GPU 4枚のインスタンスで動き、点はBF16とほぼ変わりません。ただ、JumpStartの設定のままでは長い書類をまとめて読ませにくく、ml.g7は利用枠の申請が先に要ります。日本語の書類や画面を読ませたい会社が、データを自社のAWSの外に出さずに試す入り口としては使いやすいでしょう。
発表では、日本での提供や、使える地域には触れていません。インスタンスの料金は、AWSの料金のページで確かめられます。
Nemotron 3.5 Super VLは、現時点ではYOBITSUGI AIからは使えません。
出典
- NVIDIA Nemotron 3.5 Super VL is now available in Amazon SageMaker JumpStart(AWS Machine Learning Blog・2026年11月9日)