VRAM 24GB 向けに圧縮された Nemotron 3.5 Bolt は、RTX 3090 でどれだけ速い？〜llama.cpp v0.7.0 で測った

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

NVIDIA が公開した「Nemotron 3.5 Bolt 74B-A9B」（総パラメータ740億、1回に使うのは90億）は、VRAM 24GB に収まるよう作られた画像・動画対応のモデルです。このモデルを、RTX 3090（VRAM 24GB）を載せた Ubuntu 機で、llama.cpp v0.7.0 を使って動かし、速さを測りました。旧版の llama.cpp と ollama では読み込めなかったモデルです。新しい版なら読めるのでしょうか？

2026年10月17日時点の内容です。

スポンサーリンク

目的〜何を測った記事か

この記事で測ったのは、次の3つです。

  • 読み込めるか: 旧版の llama.cpp（b10941・b11192）と ollama 0.30.5 で読めなかったモデルが、v0.7.0 で読めるか
  • 入力処理の速さ（pp512）: 512トークンの入力を読ませるとき、1秒あたり何トークン処理するか（読む側の速さ）
  • 生成の速さ（tg128）: 128トークンの文章を書かせるとき、1秒あたり何トークン出てくるか（書く側の速さ）

あわせて、GPUのメモリ（VRAM）の使用量も記録しました。答えの出来や正確さ、画像を入力したときの動き、長い入力での動きは測っていません。詳しくは「限界〜測っていないこと」に書きました。

読み終えたときに、「約20.5GiB（ギビバイト）のファイルは、VRAM 24GB の RTX 3090 に全層載り、毎秒約60トークンで書く」という目安が持てることを目的にしています。

スポンサーリンク

前提知識〜用語の説明

専門用語が続くため、先に整理します。

  • トークン: AIが文章を処理するときの単位です。文字数とは一致せず、単語や文字の断片を1トークンと数えます
  • tok/s（トークン毎秒）: 1秒あたりに処理するトークン数です。大きいほど速く、本文の速度はすべてこの単位です
  • llama.cpp: ローカルでAIを動かすためのソフトです。ollama とは別のソフトで、今回は v0.7.0（ビルド 620d222）を使いました
  • llama-bench: llama.cpp に付いている測定用の道具です。入力512トークンの処理（pp512）と、128トークンの生成（tg128）を測ります
  • Vulkan: GPUを使うための仕組み（API）のひとつです。今回の llama.cpp は Vulkan で動かしました
  • VRAM: GPUに付いている専用メモリです。モデルがすべてここに載れば、GPUだけで動かせます
  • 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。今回の IQ2_XXS は、1つの値を約2.06ビットで持つ形式です
  • MoE（Mixture of Experts、専門家の混合）: モデルの中に多数の「エキスパート」と呼ばれる小さな部品を持ち、1トークンごとに一部だけを使う作りです。総パラメータが大きくても、1回の計算量は活性パラメータの分で済みます
  • ollama: ローカルでAIを動かすための、もうひとつのソフトです。llama.cpp とは別物なので、速さの数字は同じ表で比べません
スポンサーリンク

Nemotron 3.5 Bolt とは〜歴史と作りの蘊蓄

測定の前に、このモデルがどこから来たのかを整理します。ここは Hugging Face（AIモデルの配布サイト）と NVIDIA の公開情報で確認した内容で、出典は記事末にまとめました。

Nemotron の系譜と Bolt の位置

公開元は NVIDIA です。README の Release Date は2026年10月15日です。Hugging Face のリポジトリ作成日は、24GB版とその GGUF 版が10月7日、BF16版が10月9日で、公開日より早く作られています。作成日が早い理由（非公開の期間があったのかどうか）は確認できませんでした。

Nemotron は NVIDIA のモデルの系列名です。名前の由来は、確認した資料に書かれておらず、未確認です。「Bolt」の由来も、README と技術ブログに説明がなく、確認できませんでした。

Hugging Face の作成日をたどると、系列は次のように進んできました。

モデルリポジトリ作成日メモ
Nemotron 3 Super 120B-A12B2026年3月10日当ブログで ollama を使い測定した記事があります
Nemotron 3 Ultra 550B-A55B2026年6月3日LatentMoE と MTP 層を持つ
Nemotron 3.5 Lightning 30B-A3B2026年8月1日Mamba-2・MoE・Attention の混成
Nemotron 3.5 Super VL 120B-A12B2026年10月12日Bolt の親にあたるモデル
Nemotron 3.5 Bolt 74B-A9B2026年10月7日（24GB版）Super VL を圧縮した派生

README の Model Design 欄には、「Nemotron 3.5 Super VL 120B-A12B から圧縮した」とあります。Bolt は新しく事前学習したモデルではなく、Super VL を小さくした派生です。Artificial Analysis（AA、AIモデルを第三者の立場で比べるサイト）の記事は、Bolt を「NVIDIA の新しい Bolt ファミリーの最初のモデル」と書いています。これは第三者の記述で、NVIDIA 側がファミリーと宣言しているかどうかは確認できませんでした。

ライセンスは、前の世代の Nemotron 3 Super が「NVIDIA Nemotron Open Model License」だったのに対し、3.5世代は OpenMDW License 1.1 です。README は商用・非商用のどちらでも使えると書いています。条文は要約までしか確認しておらず、全文は読んでいません。

名前の読み方〜74B-A9B と 24GB

「74B-A9B」は、総パラメータ74B（740億）のうち、1トークンごとに使うのが9B（90億）という意味です。使う割合は約12%です。名前の「24GB」は、配布物が24GBのメモリに収まるよう設計した、という意味です。README には「native 2-bit quantization to fit in 24GB of memory」とあります。

圧縮の作り〜層ごとにエキスパート数を変える

README によると、圧縮は5つの段階で行われました。最初の段階が Star Elastic という、NVIDIA が考案した圧縮の方法です。ルーター（どのエキスパートを使うか選ぶ部品）を手がかりに、層ごとにエキスパートの数と中間幅を変えて探します。目標は「バッチ1・128Kトークンの文脈で、24GB未満」でした。

設定ファイル（config.json）で数えると、親の Super VL は全部のMoE層でエキスパートが512個、1トークンで使うのは22個です。Bolt は40のMoE層のエキスパート数が層ごとに違い、240個が12層、304個が6層、368個が9層、432個が10層、496個が3層でした。1トークンで使うのは9個に減っています。この集計は当ブログが config から数えた値です。

層の構成は親と同じ88層で、Mamba-2 が40層、MoE が40層、Attention（注意機構）が8層です。MTP（先の予測を同時に行う層）は Bolt の設定になく、親にはあります。

この「層ごとにエキスパート数が違う」作りが、後で見る読み込みエラーの原因でした。

量子化と投機的デコード

圧縮の最後の段階で、エキスパートを2ビット級に量子化しています。README によると、全部のエキスパート（ルーティングされるものも共有のものも）が IQ2_XXS（1つの値あたり2.0625ビット）です。精度の回復には QAD（quantization-aware distillation、量子化を学習に組み込む蒸留）を使い、ツールは ModelOpt と書かれています。

配布物には、投機的デコード（小さなモデルが先に文章の続きを推測し、本体が検算して速くする方法）用のドラフターも付いています。名前は LiLiCorr で、由来は未確認です。README は MTP でなく DFlash という方式を使うと書いています。今回の測定では、ドラフターは使っていません。

公式が示す性能と、AAの値

モデルカードの Benchmarks 表に、NVIDIA 自身の評価が載っています。Bolt の IQ2 版の値は次のとおりです。比べているのは Qwen3.6-35B-A3B など、BF16（量子化していない）の別モデルです。

指標Bolt IQ2Qwen3.6-35B-A3BGemma4 26B-A4BLightning 30B-A3B
GPQA Diamond86.4383.4079.6175.57
Terminal-Bench 2.150.9844.3837.2223.46
HLE（ツールなし）25.3019.5617.4210.47

表の値は NVIDIA の自社評価で、第三者の検証ではありません。Bolt が上回らない行もあります。

AA の Intelligence Index は、Bolt が21.4でした（AA の記事のグラフの棒に印字された値で、Intelligence Index v4.3.2）。同じ記事で、親の Super VL は26、同じ Nemotron 3 系列の Ultra は23です。AA は Bolt の出力が1タスクあたり約82k（8万2千）トークンで、Super VL の約46kより多いと書いています。いずれも AA が出した数字で、当ブログの測定ではありません。

スポンサーリンク

方法〜どう測ったか

測定した機体とソフト

機体は Ubuntu を動かす PC で、RTX 3090（VRAM 24GB。容量は仕様）を使いました。ソフトは llama.cpp v0.7.0（ビルド 620d222）で、この機体でソースからビルドしました。GPUは Vulkan で使い、RTX 3090 だけが見えるように環境変数 GGML_VK_VISIBLE_DEVICES を指定しています。

測定の条件

項目内容
モデルnvidia 公式の Nemotron-3.5-Bolt-74B-A9B-24GB.gguf（22,018,326,528バイト＝20.50GiB。IQ2_XXS、74.04B）
画像用の部品mmproj なし（テキストのみ）
コマンドllama-bench -ngl 99 -p 512 -n 128 -r 6
-ngl 99全部の層をGPUに載せる指定
回数6回
集計6回の値を小さい順に並べ、最大と最小を1つずつ除いた4点の中央値を採用（幅はその4点の最大と最小の差）

同じ手順を、旧版でも試しました。2026年10月16日に llama.cpp のビルド b10941 と b11192（どちらも Vulkan）で、ollama 0.30.5 でも読み込みを試しています。10月17日に v0.7.0 で再測定しました。

ollama の数字を同じ表に並べない理由

ollama は llama.cpp とは別のソフトで、読み込みの実装や測り方が違います。今回の数字は llama-bench の値なので、当ブログの ollama で測った記事の数字とは、同じ表で比べません。

スポンサーリンク

結果

旧版では読めなかった

b10941 と b11192 では、読み込みの途中で次のエラーが出ました。

  • llama.cpp b10941・b11192: check_tensor_dims: tensor 'blk.1.ffn_gate_inp.weight' has wrong shape; expected 4096,496 got 4096,240
  • ollama 0.30.5: expert_used_count が配列になっていて型エラー（llama.cpp とは別の理由）

前半のエラーは、「ファイルの中の1つ目のMoE層には240個のエキスパートがあるのに、読む側は496個あると決めている」という食い違いです。層ごとにエキスパート数が違う作りは、前の節で見た Bolt の特徴です。旧版は全層で同じ数を前提にしているため、読めませんでした。v0.7.0 では同じファイルが読めました。v0.7.0 で何が変わったのかは、ソースを確認しておらず、分かりません。

速さ

回入力処理 pp512[tok/s]生成 tg128[tok/s]
11188.7659.57
21190.3559.70
31193.2659.75
41195.4159.82
51195.7459.98
61197.6060.30
中央値1194.34（幅5.39）59.79（幅0.28）

入力処理は、6回の値が1188.76〜1197.60 tok/s に収まり、中央値は1194.34 tok/s でした。512トークンの入力なら、約0.43秒で読み終える計算です。生成は59.57〜60.30 tok/s で、中央値は59.79 tok/s でした。128トークンなら約2.1秒で書き終わる計算です。表の値は小さい順に並べ替えてあり、測定した順ではありません。

VRAM

nvidia-smi で見たVRAM使用量は、測定中の最大が約21,400MiB（約20.9GiB）でした。待機時は450MiBです。全層をGPUに載せる指定（-ngl 99）で、ファイルの大きさ20.5GiBに近い値です。24GBの中に収まりました。

測定中の温度は最大72℃、消費電力は最大約328Wでした。ただしサンプリングは少数で、継続的な記録ではありません。

スポンサーリンク

考察

毎秒約60トークンという生成の速さは、1つの条件を6回測った値です。長い入力や複数の質問の同時利用では測っていません。

載り方については、事実として言えることが2つあります。1つ目は、20.5GiBのファイルが全層GPUに載って動いたことです。2つ目は、VRAMの使用が最大約20.9GiBで、24GBの範囲に収まったことです。モデル名の「24GB」は、設計の目標どおりに動いたと読めます。文脈の長さを増やしたときにVRAMがどう増えるかは測っていないため、24GBに余裕があるかどうかは言えません。

ここで「1回に使うのが9Bと少ないから、速く書ける」という説明が思い浮かびます。使う割合は約12%（9B÷74B）で、1トークンあたりの計算が少ないためです。ただしこれは推測で、確かめていません。同じ条件で活性の割合が違うモデルを並べない限り、理由は特定できません。

前身にあたる Nemotron 3 Super の測定は別の記事、同じ RTX 3090 で動かした別のモデルはQwen3.8 27B の記事にあります。ソフトも機体も条件が違うため、速さの数字は並べて比べません。

旧版で読めなかった理由は、エラーメッセージから「エキスパート数の食い違い」と読み取れます。v0.7.0 で読めた理由は確認できませんでした。

限界〜測っていないこと

  • 答えの品質と精度: 文章の出来、正答率、幻覚の多さは測っていません。品質は未測定です。速さと答えの良し悪しは別の話です
  • 画像・動画の入力: このモデルは画像や動画も入力できるとされますが、mmproj を付けずにテキストだけで動かしました。画像入力は未試験です
  • 1回の質問だけの値: llama-bench の1つの条件（入力512トークン・生成128トークン）を6回測った値です。長い入力、長い生成、複数の質問の同時利用の動きは測っていません
  • 投機的デコード: 同梱のドラフター（LiLiCorr）は使っていません。使ったときの速さは未測定です
  • 温度と消費電力: 最大72℃・約328Wはサンプリングが少数の参考値です。継続的な記録ではありません
  • ollama の数字との比較: ollama は別のソフトです。ollama で測った数字とは、同じ表で比べていません
  • 量子化の違い: 公式の IQ2_XXS だけで、他の量子化版との差は測っていません
  • 測定の日: 2026年10月17日の1日、この1台の機体、v0.7.0 の1つの版だけです。別の版や別の日には値が動くことがあります
  • Intelligence Index の21.4: Artificial Analysis が出した値で、棒に印字された値（Intelligence Index v4.3.2）です。当ブログでは検証していません。モデルカードの表も NVIDIA の自社評価です
スポンサーリンク

まとめ〜RTX 3090 で Nemotron 3.5 Bolt を動かした結果

  • Nemotron 3.5 Bolt 74B-A9B の IQ2_XXS（20.5GiB）は、llama.cpp v0.7.0 で RTX 3090 に全層載って動いた
  • 旧版の llama.cpp（b10941・b11192）と ollama 0.30.5 では読めなかった。llama.cpp 側のエラーは、層ごとにエキスパート数が違うことが原因と読み取れる
  • 入力処理は1194.34 tok/s（pp512）、生成は59.79 tok/s（tg128）。どちらも6回の中央値
  • VRAMの使用は最大約21.4GBで、24GBの範囲に収まった

試すなら、まず llama.cpp を v0.7.0 以降にして、llama-bench でご自身の機体の値を測ってください。ここに載せた値は、あくまで1台の機体の1回分の記録です。

品質や画像入力は、この記事では測っていません。引き続き当ブログのローカルLLMの記事で追っていきます。

参考

  • Nemotron 3.5 Bolt 24GB GGUF（README）: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF
  • Nemotron 3.5 Bolt 技術ブログ（NVIDIA）: https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB/
  • Nemotron 3.5 Bolt リポジトリ情報（作成日）: https://huggingface.co/api/models/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF
  • Nemotron 3.5 Bolt BF16（設定ファイルの数え直しに使用）: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16
  • Nemotron 3.5 Super VL: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16
  • OpenMDW License 1.1: https://github.com/OpenMDW/OpenMDW/blob/main/1.1/LICENSE.OpenMDW-1.1
  • Artificial Analysis の記事（Nemotron 3.5 Super と Bolt）: https://artificialanalysis.ai/articles/nemotron-3-5-super-and-bolt
  • 上記の情報は、2026年10月17日に確認しました
スポンサーリンク

モデル,ローカルAI