Nemotron 3.5 Bolt E4BをVRAM 8GBのRTX 3070で動かすと、書く速さと賢さはどこに並ぶか〜ほかの12モデルと比べた
2026年10月23日に、NVIDIAがNemotron 3.5 Bolt E4Bを公開しました。ローカルAI（自分のPCで動かす生成AI）で使える、実効4B（40億パラメータ）の小型モデルです。VRAM（GPUが持つ専用メモリ）が8GBのGPUでも動くのかを知りたくなりました。
本記事では、8GBのGPU、RTX 3070にBoltを載せ、文章を書く速さと読む速さを測りました。賢さは、検証用の課題セットを持つ別の測定環境（aeb）が、同じモデルファイルで測った結果を並べます。比べる相手は、同じRTX 3070で測った別の小型モデル12個です。
2026年10月26日時点の内容です。
何を測ったのか
VRAM 8GBのRTX 3070に、Nemotron 3.5 Bolt E4Bを載せて、文章を書く速さと、長めの文章を読み込む速さを測りました。賢さは、プログラムを書く課題と、仕様の罠に乗らず直す課題、存在しない前提の質問に作り話で答えるかを見る課題で見ています。
なお、Nemotron 3.5 Boltには大きな版（74B-A9B）もあり、そちらをRTX 3090で測った記事はVRAM 24GB 向けに圧縮された Nemotron 3.5 Bolt は、RTX 3090 でどれだけ速い？です。本記事で測ったのは、小さい版のE4Bです。
測り方
| 項目 | 内容 |
|---|---|
| GPU | NVIDIA GeForce RTX 3070（VRAM 8GB）。CUDAのみ |
| ソフト | Ollama 0.34.0。測定用に別ポートで起動 |
| モデルファイル | Unsloth版 NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF の UD-Q4_K_XL（ファイル5.06GB）。GGUFとUD-Q4_K_XLは、PCで動かしやすいようにモデルを軽くした（量子化した）ファイルの形式です |
| 書く速さ | 128トークンを生成。1秒あたりに生成したトークン数 [tok/s]。思考（長く考える機能）は無効 |
| 読む速さ | 約2,100トークンの文章を読み込み、1秒あたりのトークン数 [tok/s] |
| 回数 | 1回目は読込を含むため別扱い。続く5回から上下を1つずつ落とした中央3点の中央値 |
| 賢さ | 別の測定窓（aeb）が、同じファイルをRTX 3090で測った。課題ごと各1回 |
トークンは、モデルが文章を数える単位です。tok/sは、1秒間に何トークンを書く（読む）かを表します。
結果
書く速さと読む速さ
Boltは、RTX 3070のVRAMに載りました。Ollamaの表示でGPUへの割り当ては100%（モデル全体がGPUのメモリに載った状態）で、測定中のVRAM使用量は最大で4,966MiB（約5.2GB）でした。書く速さは84.1 tok/s、読む速さは3,512 tok/sでした。1回目の読込には17.8秒かかりました。
RTX 3070で測った他の12モデルとの並び
同じRTX 3070、同じ手順で測った12モデルと並べます。賢さの欄は、課題ごとに完遂した数です。Qwen3 14BはVRAM 8GBに収まらず、一部がメインメモリにはみ出した状態の値です。
| モデル | 読込後の大きさ [GB] | 書く速さ [tok/s] | 読む速さ [tok/s] | プログラム課題 [完遂/7] | 罠の課題 [完遂/6] |
|---|---|---|---|---|---|
| MiniCPM5-2B | 1.6 | 182.8 | 7,096 | 6 | 6 |
| Llama 3.2 3B | 2.0 | 155.8 | 6,154 | 5 | 5 |
| Gemma 4 E2B | 4.1 | 152.3 | 6,154 | 6 | 6 |
| Phi-4-mini（Unsloth版） | 2.5 | 128.5 | 5,538 | 未測定 | 未測定 |
| Qwen3 4B | 2.5 | 120.1 | 4,738 | 6 | 5 |
| Nemotron 3 Nano 4B | 2.8 | 119.1 | 3,970 | 7 | 6 |
| Qwen3.5 4B | 3.4 | 103.2 | 3,355 | 7 | 6 |
| Gemma 4 E4B | 6.0 | 92.0 | 3,652 | 6 | 6 |
| Gemma 3n E4B | 4.5 | 87.7 | 2,416 | 7 | 4 |
| Nemotron 3.5 Bolt E4B | 6.1 | 84.1 | 3,512 | 4 | 5 |
| Qwen3 8B | 5.2 | 73.2 | 2,947 | 6 | 5 |
| Ornith 1.5 9B | 6.7 | 67.1 | 2,317 | 6（別便） | 6（別便） |
| Qwen3 14B（8GBに載らない） | 9.3 | 9.3 | 382 | 6（別便） | 6（別便） |
大きさの欄は、Ollamaが測った読み込み後の値です。Boltの6.1GBは、配布ファイルの5.06GBより大きくなっています。Phi-4-miniの速さはUnsloth版で測りましたが、賢さの測定はOllama既存版で行われ、条件が異なるため空欄にしました。Ornith 1.5 9BとQwen3 14Bの賢さは、10月3日の別の測定便の値で、同じ課題を各1回です。また、Qwen3.5 4B、Nemotron 3 Nano 4B、MiniCPM5-2B、Gemma 4 E2B、Ornith 1.5 9Bの賢さの値は、ローカルLLM おすすめモデル 2026に載せた測定と同じ値の再掲です。速さの列は、この記事でRTX 3070を使って測り直したものです。
Boltの賢さは、プログラム課題が7題中4題、罠の課題が6題中5題でした。存在しない前提の質問は全18題で、作り話で答えた割合は0.18でした。判定できた11題のうち2題です。判定できなかった問いが7題あり、95%信頼区間は0.05〜0.48と広いため、他のモデルとの順位は付けません。
考察
Boltは、書く速さで13モデル中10番目でした。同じ4B級のQwen3.5 4B（103.2 tok/s）、Gemma 4 E4B（92.0 tok/s）より遅く、8Bの Qwen3 8B（73.2 tok/s）よりは速い位置です。読む速さは3,512 tok/sで、同じ4B級のNemotron 3 Nano 4B（3,970 tok/s）より458 tok/s、約12%遅い値でした。
NVIDIAのモデルカードによると、BoltはGemma 4 E4Bを土台にしています。そのGemma 4 E4Bより書く速さが遅い理由は、測っていないため分かりません。量子化の種類（Boltは UD-Q4_K_XL、Gemma 4 E4Bは Q4_K_M）が違うため、同じ条件の比較ではありません。
賢さは、プログラム課題の完遂数が4題でした。表の4B級5モデル（Qwen3 4B、Nemotron 3 Nano 4B、Qwen3.5 4B、Gemma 4 E4B、Gemma 3n E4B）では、Boltの4題が最も少ない値です。ただし、課題は各1回で、7題・6題と数が少なく、1題の差が順位を動かします。
ネットでの評価
Boltについて、公開直後の記事で次のように評価されています。Redditは取得できず、確認できていません。NVIDIA自身の数字は、メーカーによる値です。
atomicagent.ioの比較記事（日付は未確認、記事）は、RTX 5090で、Gemma 4 E4Bと同じ18回の課題を試しています。成功はBoltが12回、Gemma 4 E4Bが11回で、ほぼ同等でした。生成トークンはBoltが約11,000、Gemmaが約118,000で、少なく済んでいます。デコード速度は、Gemma 4 E4Bが193 tok/s、Boltが178 tok/sでした。この記事では、reasoning（長く考える機能）を有効にしても遅くなっただけで、試した課題では精度の向上が見られなかったと報告されています。
orcarouter.aiの記事（2026年10月23日ごろ、記事）は、会話は強い一方、長い文脈での推論と、複数回のやり取りが続くエージェント的な課題は弱いとしています。独立した検証はまだなく、安全性とバイアスの評価も未監査だと指摘しています。
datastudios.orgの記事（2026年10月24日、記事）は、RULER 64K（長い文脈から正確に探し出す試験）で、Qwen3.5 4Bが95.15、Boltが86.99だったと伝えています。メーカーの報告値は再現されておらず、64Kの文脈で正確に探せる保証はないと、この記事は書いています。本記事でも再現はしていません。
NVIDIAの研究ページは、前世代のNemotron 3 Nano 4Bより平均の品質が約40%高いと説明しています。これはメーカーの値で、本記事では確かめていません。
今回の測定で確かめていないこと
次のことは、今回確かめていません。
今回測ったUnsloth版で、画像の入力が使えるかは試していません。NVIDIAの仕様書（モデルカード）はテキストのみとし、Ollamaの配信ページ（タグ表示）は画像入力ありとしていて、情報が食い違っています。
OllamaのBoltの公式タグは、測れませんでした。RTX 3070の機材のOllamaが0.34.0で、取得時に「新しい版が必要」と返されたためです。測ったのはUnsloth版のファイルです。
64Kまでの長い文脈、日本語での出来、長く考える機能を有効にしたときの速さは、測っていません。
賢さは各1回で、課題の数も少ないため、順位ではなく目安です。
まとめ
VRAM 8GBのRTX 3070では、Nemotron 3.5 Bolt E4B（Unsloth版 UD-Q4_K_XL）はすべてVRAMに載り、書く速さは84.1 tok/s、読む速さは3,512 tok/sでした。同じ表の13モデルの中では、書く速さは10番目です。賢さは、プログラム課題で4B前後のモデルより少ない側でした。
用途がプログラムを書かせることなら、同じ表のQwen3.5 4BやNemotron 3 Nano 4Bのほうが、今回の測定では速く、課題の完遂数も多い傾向でした。一方、Boltは、評価記事によると、少ないトークンで答えにたどり着く点が特徴とされています。この点は、今回の測定では確かめていません。
GPUを足してVRAMを増やす方法は、GPU2枚挿しの記事にまとめています。