Nemotron 3.5 Super VL（120B）は、ミニPCのEVO-X2でどれだけ速く書く？〜llama.cpp v0.7.0 で測った
NVIDIA が公開した「Nemotron 3.5 Super VL 120B-A12B」（総パラメータ1,200億、1回に使うのは120億）は、画像と動画も入力できる大型モデルです。このモデルの Q4_K_M（ファイル70.1GB）を、ミニPC「EVO-X2」（Ryzen AI Max+ 395 搭載。メモリ128GB。内蔵GPUは Radeon 8060S）で、llama.cpp v0.7.0 を使って動かし、テキストだけで速さを測りました。このミニPCで読み込めて、どれくらいの速さで書くのでしょうか？
2026年10月17日時点の内容です。
目的〜何を測った記事か
この記事で測ったのは、次の3つです。
- 読み込めるか: Nemotron 3.5 Super VL の GGUF が、llama.cpp v0.7.0 の Vulkan で読めるか
- 入力処理の速さ（pp512）: 512トークンの入力を読ませるとき、1秒あたり何トークン処理するか（読む側の速さ）
- 生成の速さ（tg128）: 128トークンの文章を書かせるとき、1秒あたり何トークン出てくるか（書く側の速さ）
あわせて、使われたメモリの量も記録しました。画像を入力したときの動き、答えの出来や正確さ、長い入力での動きは測っていません。詳しくは「限界〜測っていないこと」に書きました。
読み終えたときに、「70.1GBのファイルは、メモリ128GBのミニPCに載り、テキストだけなら毎秒約24トークンで書く」という目安が持てることを目的にしています。
前提知識〜用語の説明
専門用語が続くため、先に整理します。
- トークン: AIが文章を処理するときの単位です。文字数とは一致せず、単語や文字の断片を1トークンと数えます
- tok/s（トークン毎秒）: 1秒あたりに処理するトークン数です。大きいほど速く、本文の速度はすべてこの単位です
- llama.cpp: ローカルでAIを動かすためのソフトです。今回は v0.7.0（ビルド 620d222）を使いました
- llama-bench: llama.cpp に付いている測定用の道具です。入力512トークンの処理（pp512）と、128トークンの生成（tg128）を測ります
- Vulkan: GPUを使うための仕組み（API）のひとつです。今回は Vulkan で Radeon 8060S を使いました
- UMA（ユニファイドメモリ）: CPUとGPUが同じメモリを共有する作りです。EVO-X2 では専用のVRAM表示が出ず、メインメモリの使用量で見ます
- 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。今回の Q4_K_M は約4ビット級に縮めた形式で、ファイルは70.1GBです
- MoE（Mixture of Experts、専門家の混合）: モデルの中に多数の「エキスパート」と呼ばれる小さな部品を持ち、1トークンごとに一部だけを使う作りです。総パラメータが大きくても、1回の計算量は活性パラメータの分で済みます
- Mamba-2: Transformer（通常の注意機構）とは別の方式の層です。文章が長くなっても記憶（KVキャッシュ）が増えにくいとされます
- mmproj: 画像を読むための部品を入れた別ファイルです。今回は付けていないため、画像は入力できません
Nemotron 3.5 Super VL とは〜歴史と作りの蘊蓄
測定の前に、このモデルがどこから来たのかを整理します。ここは Hugging Face（AIモデルの配布サイト）の公開情報で確認した内容で、出典は記事末にまとめました。
Nemotron の系譜
公開元は NVIDIA です。README の Release Date は2026年10月15日です。Hugging Face のリポジトリ作成日は、BF16版が10月12日で、README の日付と3日ずれています。理由は確認できませんでした。
Nemotron は NVIDIA のモデルの系列名です。名前の由来は、確認した資料に書かれておらず、未確認です。「3.5」の意味や、視覚エンコーダ名 C-RADIO の略称の展開も、確認できませんでした。「VL」は README が Vision-Language（視覚言語）と説明しています。
Hugging Face の作成日をたどると、系列は次のように進んできました。
| モデル | リポジトリ作成日 | メモ |
|---|---|---|
| Nemotron 3 Nano 30B-A3B | 2025年12月4日 | 総300億・活性30億 |
| Nemotron 3 Super 120B-A12B | 2026年3月10日 | 当ブログで ollama を使い測定した記事があります |
| Nemotron 3 Ultra 550B-A55B | 2026年6月3日 | 蒸留の教師（README） |
| Nemotron 3.5 Lightning 30B-A3B | 2026年8月1日 | 3.5世代で先に出た |
| Nemotron 3.5 Super VL 120B-A12B | 2026年10月12日 | 今回のモデル |
| Nemotron 3.5 Bolt 74B-A9B | 2026年10月7日（24GB版） | Super VL を圧縮した派生 |
ライセンスは、前の世代の Nemotron 3 Super が「NVIDIA Nemotron Open Model License」だったのに対し、3.5世代は OpenMDW License 1.1 です。README は商用・非商用のどちらでも使えると書いています。条文は要約までしか確認しておらず、全文は読んでいません。
名前の読み方〜120B-A12B
「120B-A12B」は、総パラメータ120B（1,200億）のうち、1トークンごとに使うのが12B（120億）という意味です。使う割合は約10%です。使うのが120億でも、置いておく重みは1,200億分すべて必要です。
中身の作り〜前の Super と骨格は同じ
README は、Mamba-2・MoE・Attention（注意機構）の層を交互に重ねた構成に、C-RADIO という視覚エンコーダと、視覚と言語をつなぐコネクタを組み合わせたと説明しています。設定ファイル（config.json）で数えると、言語側は全88層のうち Mamba-2 が40層、MoE が40層、Attention が8層です。エキスパートは512個、1トークンで使うのが22個、全員が使う共有エキスパートが1個です。MTP（先の予測を同時に行う層）は1層あります。
この数字は、前の世代の Nemotron 3 Super の設定ファイルと同じでした。言語側の骨格は Super と同じで、変わったのは視覚エンコーダが加わったこと、文脈の長さの設定、後段の学習です。ただし重みは別物で、学習の工程が違います。
文脈の長さは、設定ファイルの最大位置が1,048,576トークン（1M）です。前の Super は設定ファイルが262,144トークンで、README は100万トークンと書いていて食い違っていました。今回は設定と README がそろっています。
学習の工程〜Ultra からの蒸留
README の学習工程には、次の記述があります。数字は開発元の記述で、当ブログでは検証していません。
- 言語の骨格は Nemotron 3 Super Base で初期化した。MTP ヘッドを100Bトークン学習したあと、上位モデルの Nemotron 3 Ultra Base から1T（1兆）トークンの蒸留を行った
- Indic（インド系の言語）の継続事前学習に100Bトークン、1M文脈への拡張に35Bトークン、ソフトウェア工学のミッドトレーニングに67Bトークンを使った
- 視覚言語の学習をC-RADIOとコネクタに行い、2段階の教師あり微調整を行った
- 強化学習と、複数の専門教師を1つにまとめる蒸留を行った
- 最後に MTP ヘッドを再学習し、投機的デコード（小さな予測で文章の続きを先に出し、本体が検算して速くする方法）の採択率を上げた
蒸留とは、大きなモデルの出力を手本にして小さなモデルを育てる方法です。Ultra は550Bで、Super VL の約4.6倍の大きさです。README の評価表の列見出しにある「GA」の意味は、説明がなく、確認できませんでした。
配布の形式は、BF16（約248.9GB）、NVFP4（公式の4ビット浮動小数。75.0GB）などがあります。今回使った GGUF は、lmstudio-community の Q4_K_M です。
公式が示す性能と、AAの値
README の Benchmarks 表に、NVIDIA 自身の評価が載っています。この表の値は BF16 版のもので、今回測った Q4_K_M 版の値ではありません。Super VL の値と、並べて載っている別のモデルの値の一部を抜き出します。
| 指標 | Super VL | Qwen3.5-122B-A10B | Qwen3.8-Flash-Next | GLM-5.3-Flash |
|---|---|---|---|---|
| GPQA-Diamond | 89.52 | 86.7 | 92.7 | 91.2 |
| Terminal-Bench 2.1 | 60.67 | 48.70 | 85.80 | 82.70 |
| GraphWalks | 89.71 | 86.1 | 76.1 | 88.4 |
表の値は NVIDIA の自社評価で、第三者の検証ではありません。Super VL が他のモデルを上回る行もあれば、下回る行もあります。GraphWalks では Super VL が最も高く、GPQA-Diamond や Terminal-Bench 2.1 では Qwen3.8-Flash-Next と GLM-5.3-Flash が上です。
Artificial Analysis（AA、AIモデルを第三者の立場で比べるサイト）の Intelligence Index は、Super VL が26でした（AA の記事に載った値で、Intelligence Index v4.3.2）。AA の X 投稿のグラフの棒には、前の世代の Nemotron 3 Super が13と印字されていました（投稿の本文は取得できませんでした）。AA は「2倍の知能で、1タスクあたりの出力トークンは約60%少ない」と書いています。Super VL の出力は約46k（4万6千）トークン／タスクです。いずれも AA が出した数字で、当ブログの測定ではありません。
方法〜どう測ったか
測定した機体とソフト
機体は EVO-X2 です。Ryzen AI Max+ 395 を載せたミニPCで、メモリは128GBあります。内蔵GPUの Radeon 8060S を、Vulkan で使いました。環境変数 GGML_VK_VISIBLE_DEVICES で、8060S だけが見えるようにしています。ソフトは llama.cpp v0.7.0（ビルド 620d222）です。
測定の条件
| 項目 | 内容 |
|---|---|
| モデル | lmstudio-community の Nemotron 3.5 Super VL 120B-A12B、Q4_K_M（2分割、合計70,095,370,240バイト＝70.1GB） |
| 画像用の部品 | mmproj なし（テキストのみ） |
| コマンド | llama-bench -ngl 99 -p 512 -n 128 -r 5 -lm none |
| -ngl 99 | 全部の層をGPUに載せる指定 |
| -lm none | ファイルを必要な分だけ読む方式（mmap）でなく、先にメモリへ読み込む指定 |
| 回数 | 5回 |
| 集計 | 5回を小さい順に並べ、中央の3点の中央値を採用 |
測定日は2026年10月17日です。
ollama の数字を同じ表に並べない理由
ollama は llama.cpp とは別のソフトで、読み込みの実装や測り方が違います。今回の数字は llama-bench の値なので、当ブログの ollama で測った記事の数字とは、同じ表で比べません。
結果
読めたか
v0.7.0 で、読み込みと測定ができました。画像の部品は付けていないため、確認できたのはテキストの入力と出力だけです。
速さ
| 回 | 入力処理 pp512[tok/s] | 生成 tg128[tok/s] |
|---|---|---|
| 1 | 301.45 | 24.24 |
| 2 | 304.07 | 24.24 |
| 3 | 314.51 | 24.31 |
| 4 | 327.49 | 24.33 |
| 5 | 329.87 | 24.37 |
| 中央3点の中央値 | 314.51（幅23.42） | 24.31（幅0.09） |
入力処理は、5回の値が301.45〜329.87 tok/s と散らばりました。中央の3点（304.07・314.51・327.49 tok/s）の幅は23.42 tok/s と広く、参考値として扱います。中央値は314.51 tok/s で、512トークンの入力なら約1.6秒で読み終える計算です。
生成は24.24〜24.37 tok/s で、ほぼそろいました。中央値は24.31 tok/s で、幅は0.09 tok/s です。128トークンなら約5.3秒で書き終わる計算です。表の値は小さい順に並べ替えてあり、測定した順ではありません。
メモリ
使われたメモリは、約70GBでした。EVO-X2 はCPUとGPUでメモリを共有するため、専用のVRAM表示は出ません。ファイルの大きさ70.1GBに近い量が、メインメモリ側に載った形です。
温度と消費電力は計測していません。
考察
毎秒約24トークンという生成の速さは、1つの条件を5回測った値です。長い入力や複数の質問の同時利用では測っていません。
入力処理は5回の散らばりが大きく、一方で生成はほとんど散らばりませんでした。入力処理がなぜ散らばったのかは、確認できませんでした。入力処理の314.51 tok/s は、1回ごとの違いを含む目安として読んでください。
載り方の事実は、70.1GBのファイルが、メモリ128GBのミニPCで動いたことです。メモリの使用量は約70GBで、128GBの範囲に収まりました。前の世代の Nemotron 3 Super は、別の記事で EVO-X2 に NVIDIA の GPU（RTX 5060 Ti と RTX 3060）とメモリを併用した構成で測っています。ソフトも量子化も構成も違うため、速さの数字は並べて比べません。同じミニPCで大型のモデルを動かした別の例は、gpt-oss-120b の記事にあります。
ここで「1回に使うのが120億と少ないから、1,200億のモデルでも毎秒24トークン出る」という説明が思い浮かびます。使う割合は約10%（12B÷120B）で、1トークンあたりに読み出す重みが少ないためです。これは推測で、確かめていません。
性能の表では、Super VL は長い文脈を扱う項目（GraphWalks）で高く、コーディングやエージェント系の項目では他のモデルが上回る行が目立ちます。これは NVIDIA の自社評価の表の読みで、今回の測定では品質を見ていません。
限界〜測っていないこと
- 答えの品質と精度: 文章の出来、正答率、幻覚の多さは測っていません。品質は未測定です。速さと答えの良し悪しは別の話です
- 画像・動画の入力: このモデルは画像や動画も入力できるとされますが、mmproj を付けずにテキストだけで動かしました。画像入力は未試験です
- 1回の質問だけの値: llama-bench の1つの条件（入力512トークン・生成128トークン）を5回測った値です。長い入力、長い生成、複数の質問の同時利用の動きは測っていません。1M（100万）トークンの文脈の動きも未確認です
- 入力処理の値: 5回の幅が23.42 tok/s と広く、参考値です
- 思考モードの切替と MTP: 思考モード（off・medium・on）の切替は試していません。MTP や投機的デコードは使っていません
- 温度と消費電力: 計測していません
- ollama の数字との比較: ollama は別のソフトです。ollama で測った数字とは、同じ表で比べていません
- 量子化の違い: Q4_K_M だけで、他の量子化版（NVFP4 など）との差は測っていません
- 測定の日: 2026年10月17日の1日、この1台の機体、v0.7.0 の1つの版だけです。別の版や別の日には値が動くことがあります
- 性能の数字: 表の評価値は NVIDIA の自社評価です。Intelligence Index の26は、Artificial Analysis が出した値（v4.3.2）で、当ブログでは検証していません
まとめ〜EVO-X2で Nemotron 3.5 Super VL を動かした結果
- Nemotron 3.5 Super VL（総120B・活性12B）の Q4_K_M（70.1GB）は、llama.cpp v0.7.0 で EVO-X2 の Radeon 8060S を指定して、テキストだけで動いた
- 入力処理は314.51 tok/s（pp512、中央3点の中央値。5回の幅が23.42 tok/s と広く参考値）、生成は24.31 tok/s（tg128、同）
- 使われたメモリは約70GBで、128GBの範囲に収まった
- 言語側の骨格は前の Nemotron 3 Super と同じ設定で、視覚エンコーダの追加と後段の学習が違う
試すなら、まず llama.cpp を v0.7.0 以降にして、llama-bench でご自身の機体の値を測ってください。ここに載せた値は、あくまで1台の機体の1回分の記録です。
品質や画像入力は、この記事では測っていません。引き続き当ブログのローカルLLMの記事で追っていきます。
参考
- Nemotron 3.5 Super VL（README・config.json）: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16
- Nemotron の各モデル一覧（作成日）: https://huggingface.co/api/models?author=nvidia&search=Nemotron-3
- Nemotron 3 Super: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16
- lmstudio-community の GGUF: https://huggingface.co/lmstudio-community/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF
- OpenMDW License 1.1: https://github.com/OpenMDW/OpenMDW/blob/main/1.1/LICENSE.OpenMDW-1.1
- Artificial Analysis の記事（Nemotron 3.5 Super と Bolt）: https://artificialanalysis.ai/articles/nemotron-3-5-super-and-bolt
- 上記の情報は、2026年10月17日に確認しました