本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Nemotron 3.5 Super VL、AWSで使えるように

執筆・監修: 佐々木 航公開 更新 3 分で読めます

共有XFacebookLINEはてブ

10月に重みが公開されたNVIDIAのNemotron 3.5 Super VLを、自社のAWSアカウント内で動かせるようになりました。AWSは11月9日、このモデルをAmazon SageMaker JumpStartで提供し始めたと発表しました。SageMaker Studioの画面から数ステップで、またはSageMakerのPython SDKの数行で、推論の窓口(エンドポイント)を作れます。

Nemotron 3.5 Super VLは、画像・動画・文章を読んで文章を返すモデルです。総パラメーターは1,200億で、1回に使うのは120億のMoEです。NVIDIAは、書類の読み取り、コンピューターを操作するエージェントによる画面の理解、動画への質問、画像を扱うエージェントに向けて作りました。対応する言語は、英語・フランス語・ドイツ語・イタリア語・日本語・スペイン語・中国語です。

2つの形と、動かすインスタンス

JumpStartでは、軽くしたNVFP4と、元の精度のBF16の2つを選べます。

NVFP4BF16
向く使い方推論を速く安く追加学習や独自の量子化の元
重みの大きさ約75GB約249GB
既定のインスタンスml.g7.24xlargeRTX PRO 4500 Blackwell 4枚・128GBml.p5en.48xlargeH200 8枚・1,128GB
出力の速さ毎秒63.07トークン毎秒140.85トークン
最初の1トークン0.45秒0.53秒

速さは、入力250・出力1,500トークンで、5つのリクエストを同時に流したときの1リクエストあたりの平均(AWSの測定)。2つは使うGPUが違うため、精度だけの比べではありません。

NVFP4はBF16から精度を落とした形ですが、NVIDIAの評価では、長い書類の理解(MMLongBench-Doc)でBF16と同じ62.82でした。ほかの評価の差も約1点以内で、文字の読み取り(OCRBench v2)とコンピューターの操作(OSWorld-Verified)では、わずかに上回りました。

使う前に知っておきたい制限

  • 扱う長さ: モデルは最大100万トークンを扱えますが、JumpStartの設定は520〜15,600トークンが前提です。
  • 1回に送れる数: 画像1枚と動画1本までです。1ページ1,536×1,024の画像は、約1,536トークンになります。
  • 使えない機能: LoRAのアダプターは読み込めません。モデルに入っている先読みの仕組み(MTP)を使う推測デコーディングも、JumpStartの設定では無効です。
  • 利用枠: ml.g7の利用枠は、新しいアカウントでは0から始まります。動かす前に、Service Quotasで引き上げを申し込みます。

ライセンスは、NVIDIAのOpenMDW License Agreement 1.1です。

ここからは編集部の見方です。表のとおり、ふだん使うならNVFP4で足りるでしょう。重みが約3分の1で、GPU 4枚のインスタンスで動き、点はBF16とほぼ変わりません。ただ、JumpStartの設定のままでは長い書類をまとめて読ませにくく、ml.g7は利用枠の申請が先に要ります。日本語の書類や画面を読ませたい会社が、データを自社のAWSの外に出さずに試す入り口としては使いやすいでしょう。

発表では、日本での提供や、使える地域には触れていません。インスタンスの料金は、AWSの料金のページで確かめられます。

Nemotron 3.5 Super VLは、現時点ではYOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ