ローカルLLMでよく使われる専門用語のおさらい〜VRAM・量子化・トークンなど、実測時の数字を添えて説明する

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

ローカル LLM（自分のパソコンで動かす生成 AI）の記事を読むと、「VRAM に載るか」「量子化は Q4」「MoE は専門家が一部だけ働く」といった言葉が続きます。意味が分からないまま数字を読んでも、自分のパソコンで動くのか、判断できません。では、この言葉は、実際の数字に直すと、どのくらいの大きさや速さなのでしょうか？

この記事は、当ブログがすでに測った実測の数字を、用語の説明に添えてまとめた調査です。新しく測ったものはありません。数字は、すべて公開済みの記事から引き、どの記事のどの条件の値かを書きました。確認日は2026年11月8日です。

スポンサーリンク

目的〜言葉と数字を、どう結び付けるか

用語の意味だけなら、辞書や公式の説明で分かります。足りないのは、「その言葉が、手元のパソコンでは何ギガバイトで、何 tok/s なのか」です。次の3つを目的にしました。

  • ローカル LLM の記事によく出る8つの言葉を、短い文で説明する
  • 各用語に、当ブログで測った数字を1つずつ添える
  • 用語どうしの関係（ファイルの大きさ、VRAM、速さ）を、数字で1本の流れにする

この記事は、実測記事を読む前の入り口と、各記事への目次を兼ねています。

スポンサーリンク

方法〜どの記事から、どの数字を引いたか

引いたのは、当ブログの次の記事です。どれも、この記事の公開前に公開されたものです。

数字の条件（モデル、GPU、ソフト）は、各用語の欄に書きました。条件が違う数字を、同じ物差しで比べないでください。

結果〜8つの言葉と、当ブログの数字

1. トークンと tok/s〜文章を数える単位と、書く速さ

トークンは、AI が文章を処理するときの単位です。文字の数とは一致せず、単語や文字の断片を1つと数えます。日本語では、おおよそ1トークンが1〜2文字です。tok/s は、1秒あたりに処理するトークンの数で、大きいほど速くなります。

速さは2つに分かれます。答えを1トークンずつ作る「書く速さ」と、入力の文章を読み込む「読む速さ」です。

当ブログの数字: VRAM 8GB の RTX 3070 で、Nemotron 3.5 Bolt E4B は、書く速さが 84.1 tok/s、読む速さが 3,512 tok/s でした（約2,100トークンの入力・Ollama 0.34.0・1回目を除く中央値）。書く速さは、日本語なら1秒に約84〜170文字にあたります（計算）。読む速さは、書く速さの約42倍です（3,512 ÷ 84.1 = 41.8。計算）。

2. パラメータ数〜モデルの大きさを表す数

7B、27B、125B の「B」は、10億（Billion）の意味で、モデルの中にある調整用の数値の数です。数が多いほど賢くなる傾向はありますが、その分だけファイルも大きくなり、動かすメモリも多く要ります。

当ブログの数字: Qwen3.8 の27B版は、合計で約27.8B です。Nemotron 3.5 Bolt E4B は、実効4B（40億）の小型です。

3. 量子化と GGUF〜ファイルを小さくする方法と、その入れ物

量子化は、モデルの数値を粗くして、ファイルを小さくする方法です。「Q4」は、おおよそ4ビットまで縮めたことを表します。GGUF は、llama.cpp 系のソフト（Ollama を含む）が読む、モデルのファイルの形式です。

当ブログの数字: Qwen3.8 27B を UD-Q4_K_M で量子化したファイルは、約 16.5GB でした。Nemotron 3.5 Bolt E4B の UD-Q4_K_XL は、5.06GB です。

4. VRAM〜モデルを載せる、GPU 専用のメモリ

VRAM は、グラフィックボード（GPU）に付いている専用のメモリです。モデルが全部ここに載れば、GPU だけで速く動かせます。載り切らないと、はみ出した分を、CPU とメインメモリが受け持ち、遅くなります。

当ブログの数字: Qwen3.8 27B は、ファイルが約 16.5GB で、動かしたときの VRAM は 17.9〜19.3GB でした。Nemotron 3.5 Bolt E4B は、ファイルが 5.06GB で、VRAM は最大 4,966 MiB（約5.2GB）でした。2つの例では、VRAM の使用量は、ファイルの大きさより約0.1〜2.8GB 大きい値です（計算。例が2つなので、目安にとどめてください）。

5. 文脈の長さ〜一度に覚えておける文章の量

文脈の長さ（コンテキスト）は、AI が一度に覚えておける文章の量で、トークンの数で表します。長くするほど、会話の記憶（KV キャッシュ）が VRAM を使います。VRAM に余裕がないと、文脈を長くしたときにはみ出して、速さが落ちます。

当ブログの数字: Intel Arc B580（VRAM 12GB）で Qwen3 14B を Ollama（Vulkan）で動かすと、文脈の長さを 2,048 にしたときは 36.11 tok/s、32,768 にしたときは 9.00 tok/s でした（2026年7月の測定）。文脈を長くするほど、作業メモリが VRAM に収まらなくなり、32,768 では33%が CPU に回りました。同じ GPU でも、文脈の長さだけで約4倍の差です（36.11 ÷ 9.00 = 4.0。計算）。比べた Gemma 4 12B は、文脈 32,768 でも 100% GPU のまま、約 30.5 tok/s で変わりませんでした。KV キャッシュの形式を変える設定は、当時の Ollama では効きませんでした（測定の記事）。

6. dense と MoE〜全部を使うモデルと、一部だけ使うモデル

dense（密）は、質問のたびにモデル全体を使う作りです。MoE（Mixture of Experts、混合エキスパート）は、たくさんの「専門家」のうち、一部だけを使う作りです。MoE は、全体の大きさのわりに、1トークンの計算は少なくて済みます。ただし、専門家の重みは、どこかに置いておく必要があります。

当ブログの数字: Strata が対象にする Qwen3.8-Flash-Next は、全体で 125B の MoE で、1つのトークンを書くときに働くのは約 6B 分です。専門家は24,576個あり、1トークンで使うのは10個です（Strata の README。Strata の記事で原文を確かめています）。

7. VRAM にはみ出す〜載らないモデルを、どう動かすか

MoE のモデルは、専門家の重みをメインメモリに置き、CPU で計算させる方法があります（llama.cpp の -cmoe）。さらに、よく使う専門家を VRAM に写して持つ「MoE キャッシュ」という機能も、10月に入りました。

当ブログの数字: RTX 5060 Ti（VRAM 16GB）で、約93GB の GLM-5.3-Flash（MoE）を動かしました。キャッシュなしでは 17.846 tok/s、キャッシュを 2,200 MiB 付けると 2.774 tok/s、4,400 MiB で 3.943 tok/s、6,600 MiB で 4.428 tok/s でした。この条件では、キャッシュを付けると遅くなっています。遅くなった原因として、元記事は OCuLink 接続（PCIe Gen4 x4）で転送が頭打ちになっている可能性を挙げていますが、原因かどうかは確かめていません（測定の記事）。VRAM に載せれば速くなる、とは限らない例です。

8. 推論エンジン〜モデルを動かすソフト（Ollama と llama.cpp）

推論エンジンは、モデルに文章を書かせるソフトです。Ollama は、モデルの入手と管理、起動をまとめて扱えます。llama.cpp は、Hugging Face にある GGUF を直接取って動かせます。同じモデルでも、動かすソフトが違うと、速さは違います。

当ブログの数字: llama.cpp の API（llama serve）の既定のポートは 9931 番、Ollama は 11434 番です（ポートは、ほかのアプリが AI を呼び出す窓口の番号）。ソフトを変えるときは、つなぐ側のアプリで、この番号を変えます（llama.cpp だけで始める記事）。

スポンサーリンク

考察〜この8つは、1本の流れでつながる

8つの用語は、「自分のパソコンで動くか」を判断する1本の流れとして使えます。次の順に確かめると、数字で見積もれます。

  1. 動かしたいモデルの、量子化したファイルの大きさを見る（例: 27B の Q4 で約 16.5GB）
  2. その大きさに、数 GB を足して、必要な VRAM を見積もる（例: 17.9〜19.3GB。文脈を長くするほど増える）
  3. 自分の GPU の VRAM と比べる。収まるなら、書く速さは tok/s で確かめる。収まらないなら、MoE のモデルを選ぶか、速さが落ちるのを承知で動かす

VRAM の容量や、グラフィックボードごとの違いは、当ブログのGPU 価格一覧で、VRAM の容量や新品・中古の別に並べて見られます。メモリ別に何が動くかは、VRAM 8GB で何が動く？にまとめています。

気をつける点が1つあります。VRAM に載ることと、速いことは別です。MoE キャッシュの例のように、キャッシュを付けると、付けないときより遅くなる場合があります。数字は、モデルとソフトと GPU の組み合わせごとに測る必要があります。

限界〜この記事で確かめていないこと

  • 新しい測定: この記事のために測ったものはありません。数字は、すべて公開済みの記事の値です
  • 条件の違い: 数字は、モデル、GPU、ソフトの版が、記事ごとに違います。用語ごとに別の条件の値なので、1つの表にして比べないでください
  • VRAM の目安: 「ファイルの大きさ＋数 GB」は、2つの例からの計算です。文脈の長さやソフトで変わります
  • 日本語の文字数: 1トークンが1〜2文字というのは、おおよその目安です
  • 用語の網羅: ローカル LLM の言葉は、ほかにも多くあります。この記事は、当ブログの記事によく出る8つに絞りました
スポンサーリンク

まとめ〜言葉を数字にすると、動くかどうかが見積もれる

  • ローカル LLM の言葉は、トークン、パラメータ数、量子化、VRAM、文脈の長さ、dense と MoE、はみ出す、推論エンジンの8つで、ほとんどの記事が読める
  • 27B の Q4 のファイルは約 16.5GB で、動かすと VRAM は 17.9〜19.3GB。5.06GB のモデルは、VRAM に約 5.2GB だった
  • 書く速さと読む速さは別で、小型モデルでは 84.1 tok/s と 3,512 tok/s のように、読む速さのほうが約42倍速かった
  • 載ることと速いことは別で、MoE キャッシュを付けると、この条件では 17.846 tok/s から 2.774〜4.428 tok/s に落ちた
  • 自分のパソコンで動くかは、「ファイルの大きさ→VRAM→速さ」の順に、数字で確かめられる

次は、自分の GPU で動くモデルを探してみてください。VRAM 8GB で何が動く？は、メモリ別に動くモデルを22本測って並べた記事です。

スポンサーリンク

次の一歩

モデル,ローカルAI