Nemotron 3 Super は重みの大半がRAMに載る〜GPU2枚で何トークン出るのか

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

NVIDIA の公開した大型モデル「Nemotron 3 Super」（総パラメータ1,200億、1回に使うのは120億）を、ミニPC「EVO-X2」（Ryzen AI Max+ 395 搭載ミニPC。メモリ128GB。OSから見えるのは約122GiB）で動かし、答えが出てくる速さを測りました。このミニPCには、本体に RTX 5060 Ti（VRAM 16GB）と RTX 3060（VRAM 12GB。VRAM容量は仕様）の2枚を接続してあります。量子化後でも87GBあるファイルが、合計28GBのVRAMで動くのでしょうか？

2026年10月16日時点の内容です。

スポンサーリンク

目的〜何を測った記事か

この記事で測ったのは、次の2つです。

  • 生成速度: 同じ質問を繰り返し、答えの文章が1秒あたり何トークン出てくるか（読む側でなく、書く側の速さ）
  • どの装置に載ったか: モデルの重みが、2枚のGPUとメインメモリ（ホストRAM）にどう分かれて置かれたか（ollama のサーバーログで確認）

測っていないものもあります。答えの出来や正確さ、長い入力を渡したときの動き、複数人での同時利用、GPUの枚数を変えた場合は、この記事の範囲外です。詳しくは「限界〜測っていないこと」に書きました。

読み終えたときに、「87GBのモデルはVRAM 28GBに収まらないが、重みの大部分をメインメモリに置く形で動き、毎秒20トークン前後で書く」という目安が持てることを目的にしています。

スポンサーリンク

前提知識〜用語の説明

専門用語が続くため、先に整理します。

  • トークン: AIが文章を処理するときの単位です。文字数とは一致せず、単語や文字の断片を1トークンと数えます
  • tok/s（トークン毎秒）: 1秒あたりに処理するトークン数です。大きいほど速く、本文の速度はすべてこの単位です
  • VRAM: GPUに付いている専用メモリです。モデルがすべてここに載れば、GPUだけで動かせます。載りきらない分は、メインメモリ（ホストRAM）に置いて使えます
  • 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。今回の Q4_K_M は約4ビット級に縮めた形式で、ファイルは87GBです
  • MoE（Mixture of Experts、専門家の混合）: モデルの中に多数の「エキスパート」と呼ばれる小さな部品を持ち、1トークンごとに一部だけを使う作りです。総パラメータが大きくても、1回の計算量は活性パラメータの分で済みます
  • Mamba-2: Transformer（通常の注意機構）とは別の方式の層です。文章が長くなっても記憶（KVキャッシュ）が増えにくいとされます
  • ollama: ローカルでAIを動かすためのソフトです。今回はバージョン0.32.15を使いました
  • オフロード: 層（モデルを構成する段）をGPU側に割り当てることです。「89層中89層をオフロード」は、全層の計算をGPU側が受け持つ、という意味です
スポンサーリンク

Nemotron 3 Super とは〜歴史と作りの蘊蓄

測定の前に、このモデルがどこから来たのかを整理します。数字の背景が分かると、結果の読み方も変わるためです。ここは Hugging Face（AIモデルの配布サイト）の公開情報で確認した内容で、出典は記事末にまとめました。

NVIDIA が公開した Nemotron の系譜

Nemotron 3 Super の公開元は NVIDIA です。Hugging Face 上のリポジトリは2026年3月10日に作られました。README の Release Date は3月11日で、1日ずれています。リポジトリの作成日は公開日と一致するとは限らず、公開時期の目安です。

Nemotron は NVIDIA のモデルの系列名です。名前の由来は、確認した資料には書かれておらず、未確認です。

Hugging Face の作成日をたどると、系列は次のように進んできました。

モデルリポジトリ作成日メモ
Nemotron-4-340B-Instruct2024年6月13日今回のモデルの学習データの合成にも使われたと README にあります
Llama-3.1-Nemotron-70B-Instruct-HF2024年10月12日名前に Llama-3.1 を含む（もとにしたかどうかは確認していません）
Nemotron-H-8B / 56B（Base）2025年3月19日・4月8日名前に H を含む系列（今回のモデルは config.json の model_type が nemotron_h。この2つの関係は確認していません）
NVIDIA-Nemotron-3-Nano-30B-A3B2025年12月4日総300億・活性35億（README）
NVIDIA-Nemotron-3-Super-120B-A12B2026年3月10日今回のモデル

Nemotron 3 の世代は、Nano が2025年12月、Super が2026年3月でした。Nano との違いとして README が挙げているのは、Super が MTP 層を持ち、NVFP4 で学習している点です。

名前の読み方〜120B-A12B

モデル名の「120B-A12B」は、総パラメータ120B（1,200億）のうち、1トークンごとに使うのが12B（120億）という意味です。使う割合は約10%です。Qwen などでもよく見る書き方です。前身の Nemotron 3 Nano は30B-A3Bで、README では活性が3.5Bとされています。

今回の測定で注目するのは、使うのが12Bでも、置いておく重みは120B分すべて必要という点です。

中身の作り〜Mamba-2・MoE・少数の注意機構

README は、Super を「Mamba-2 と MoE の層を交互に重ね、ところどころに Attention（注意機構）の層を入れた、LatentMoE のハイブリッド」と説明しています。LatentMoE の仕組みの詳細は確認していません。設定ファイルには moe_latent_size=1024 という項目があります。

設定ファイル（config.json）には、層の並びを示す記号列があります。記号の数を数えると、全体で88層、そのうち M が40、E が40、* が8でした。M は Mamba-2、E は MoE、* は Attention と読むと、README の説明と合います。この記号の読み方は公式の凡例を確認できていないため、当ブログの読みです。

同じ設定ファイルには、エキスパートが512個、1トークンで使うのが22個、全員が使う共有エキスパートが1個とあります。通常の注意機構が88層中8層だけで、KVヘッド数は2です。文章が長くなっても記憶が増えにくい設計と読めますが、その効果を今回は測っていません。

文脈長は、README に「最大100万トークン」、設定ファイルの最大位置は262,144トークンとあり、食い違いの理由は確認できていません。ほかに README は、先の予測を同時に行う Multi-Token Prediction（MTP）の層を持つこと、4ビットの NVFP4 で学習したことを挙げています。ライセンスは NVIDIA Nemotron Open Model License で、条文は確認していません。

Artificial Analysis（AA、AIモデルを第三者の立場で比べるサイト）の Intelligence Index は、Nemotron 3 Super が13でした（X の投稿に載ったグラフの棒に印字された値で、Intelligence Index v4.3.2）。AA が出した数字で、当ブログの測定ではありません。

スポンサーリンク

方法〜どう測ったか

測定した機体

機体は EVO-X2 です。Ryzen AI Max+ 395 を載せたミニPCで、メモリ128GBのうち、OSから見えるのは約122GiBです。本体には RTX 5060 Ti（VRAM 16GB）と RTX 3060（VRAM 12GB。仕様）を接続してあります。内蔵GPUの Radeon 8060S もありますが、今回は使われませんでした（サーバーログで確認）。

測定の条件

項目内容
モデルnemotron-3-super:120b-a12b（Q4_K_M、ファイル87GB）
ソフトollama 0.32.15
メモリの扱いuse_mmap:false（ファイルを必要な分だけ読む方式ではなく、先に実メモリへ読み込む設定）
思考モード指定なし（既定のまま）
生成の長さnum_predict 256（最大256トークンで止める）
回数同じ質問を6回。1回目はモデルの読み込みを含むため除き、残り5回を採用
集計5回を小さい順に並べ、中央の3点の中央値を採用

どの装置に載ったかは、ollama のサーバーログ（journalctl で取得）で確認しました。

入力処理の数値を使わない理由

同じ質問を繰り返すと、ollama が先頭部分のキャッシュを再利用し、入力処理の速さが実際より大きく出ます。この測定では入力処理の数値が過大になるため、記事には載せません。載せるのは、生成速度と、どの装置に載ったかです。

もう1つ注意があります。ollama のGPU番号とnvidia-smi のGPU番号は逆でした。ollama のログでは CUDA0 が RTX 5060 Ti、CUDA1 が RTX 3060ですが、nvidia-smi では PCI の順で RTX 3060 が0番です。本文では、番号でなくGPUの名前で書きます。

スポンサーリンク

結果

生成速度

回生成[tok/s]
2回目20.31
3回目20.32
4回目20.33
5回目20.35
6回目20.38
中央3点の中央値20.33（幅0.03）

5回の値は20.31〜20.38 tok/s で、ほぼそろいました。中央の3点（20.32・20.33・20.35 tok/s）の中央値は20.33 tok/s で、幅は0.03 tok/s です。256トークンなら約12.6秒で書き終わる計算です。

どの装置に載ったか

ollama ps（ollama が読み込んでいるモデルの一覧）では、モデルの大きさ（size）が91.4GB、そのうちVRAMに載った分（size_vram）が24.5GBでした。後で見るサーバーログの内訳（GPU2枚の合計17,545MiB、約18.4GB）とは数字が異なります。ollama の表示とログの内訳で数字が異なる理由は確認していません。サーバーログでは、次のように置かれていました。

置き場所モデル領域[MiB]
RTX 5060 Ti（VRAM 16GB）9,997
RTX 3060（VRAM 12GB）7,548
ホストRAM（CUDA_Host）63,493
内蔵GPU（Radeon 8060S）使用なし

層の割り当てでは、89層中89層がGPU側にオフロードされていました。GPUの2枚を足したモデル領域は17,545MiB、ホストRAMは63,493MiBで、合計81,038MiBです。計算すると、重みの約78%（63,493÷81,038）がホストRAMに置かれていました。

スポンサーリンク

考察

毎秒約20トークンという速さは、質問を1つだけ流した場合の値です。複数の質問を同時にさばいたときは測っていません。

今回の載り方は、「大部分の重みはホストRAMにあり、GPUはその一部を持つ」でした。87GBのファイルは、VRAM合計28GBには収まりません。それでも89層すべてがGPU側の割り当てになり、動きました。ollama は、層ごとに置き場所を決め、VRAMに載らない分をホストRAMに置いたようです。

ここで、「それなら MoE の1トークンあたりの計算が少ないから、メインメモリ上の重みでも速く動く」という説明が思い浮かびます。1トークンに使うのが約10%（12B÷120B）で、読み出す重みが少ないためです。これは推測で、今回は確かめていません。この説明が正しければ、使うエキスパートの割合が増えると、速さは落ちるはずです。

GPUの割り当ては、ログで確認できた事実です。内蔵GPUの Radeon 8060S は使われず、NVIDIA の2枚とホストRAMで動いていました。これは、ollama が NVIDIA のGPUを検出し、そちらを選んだためと考えられますが、選ばれた理由は確かめていません。

限界〜測っていないこと

  • 答えの品質と精度: 文章の出来、正答率、幻覚の多さは測っていません。速さと答えの良し悪しは別の話です
  • 長い入力: 入力の長さを変えた測定はしていません。100万トークンまでとされる文脈長の動きは未確認です
  • 入力処理の速さ: キャッシュの影響で過大になるため、載せていません
  • 同時利用: 質問を1つずつ流しており、複数同時の動きは測っていません
  • GPUの枚数を変えた場合: 2枚の構成だけです。1枚だけ、GPUなし、内蔵GPUだけの場合は測っていません
  • 思考モードの切替と MTP: 思考モードは指定なしの既定で、切り替えていません。MTP を ollama が使ったかは未確認です
  • 量子化の違い: Q4_K_M だけで、他の形式との差は測っていません
  • 消費電力と温度: 記録していません
  • 測定の回数: 6回のうち5回を採用した1条件で、測定日は2026年10月16日の1日だけです。別の日、別のバージョンの ollama では値が動くことがあります
  • Intelligence Index の13: Artificial Analysis が出した数字で、当ブログでは検証していません
スポンサーリンク

まとめ〜EVO-X2で Nemotron 3 Super を動かした結果

  • Nemotron 3 Super（総120B・活性12B）の Q4_K_M（87GB）は、RTX 5060 Ti と RTX 3060 の2枚（VRAM合計28GB）とホストRAMで動いた
  • 生成速度は、5回の中央3点の中央値で20.33 tok/s（幅0.03 tok/s、最大256トークン生成）
  • 載り方は、モデル領域で RTX 5060 Ti が9,997MiB、RTX 3060 が7,548MiB、ホストRAMが63,493MiB。重みの約78%がホストRAMにあり、89層すべてがGPU側の割り当てだった
  • 内蔵GPUの Radeon 8060S は使われなかった

試すなら、まず質問を1つだけ流して、ご自身の機体で ollama ps を見てください。size と size_vram の差が、ホストRAMに置かれた分の目安です。

品質や長い入力での動きは、この記事では測っていません。大型のMoEモデルをメモリの限られた機体でどう動かすか、引き続き当ブログのローカルLLMの記事で追っていきます。

参考

  • Nemotron 3 Super モデルカード（README・config.json）: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16
  • Nemotron 3 Super リポジトリ情報（作成日・ライセンス表記）: https://huggingface.co/api/models/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16
  • NVIDIA Nemotron Open Model License: https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-nemotron-open-model-license/
  • Nemotron 3 Nano 30B-A3B: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16
  • Nemotron-4-340B-Instruct: https://huggingface.co/nvidia/Nemotron-4-340B-Instruct ／ Llama-3.1-Nemotron-70B-Instruct-HF: https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct-HF
  • Nemotron-H-8B-Base-8K: https://huggingface.co/nvidia/Nemotron-H-8B-Base-8K ／ Nemotron-H-56B-Base-8K: https://huggingface.co/nvidia/Nemotron-H-56B-Base-8K
  • Llama-3_1-Nemotron-Ultra-253B-v1: https://huggingface.co/nvidia/Llama-3_1-Nemotron-Ultra-253B-v1 ／ NVIDIA-Nemotron-Nano-9B-v2: https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2
  • Artificial Analysis の X 投稿（Intelligence Index のグラフ）: https://x.com/artificialanlys/status/2110760441240752399
  • 上記の Hugging Face の情報は、2026年10月16日に取得しました
スポンサーリンク

モデル,ローカルAIローカルLLM