Gemma 4を量子化違いで速度実測〜同じモデルでも数倍差、そして”載らない”量子化

2026年7月7日

同じ大規模言語モデルでも、「量子化」と呼ばれる圧縮のかけ方ひとつで、生成速度が数倍変わり、場合によってはそもそもグラフィックカードに載りきらないことがあります。ここでは Google の軽量モデル Gemma 4 を題材に、量子化の違いで速度がどう動くかを、手元の RTX 3090 で実際に計測した結果を中心にまとめます。

量子化（quantization）は、モデル内部の数値の精度をわざと粗くしてサイズを小さくする手法です。写真の画質を落としてファイルを軽くするのに近い発想で、精度を少し犠牲にする代わりに、メモリ使用量と処理の重さを下げられます。「Q4」「Q8」といった表記がその粗さの度合いで、数字が小さいほど大きく削っています。

1. 計測の条件
2. RTX 3090 で量子化を変えて測った結果
3. 別の機体ではどうだったか
4. 量子化を選ぶときの目安
5. この構成が向かない場合

計測の条件

数値の帰属をはっきりさせるため、機体ごとに測り方を分けています。

計測環境

実測（このPC） ── Ubuntu + RTX 3090（VRAM 24GB）+ Ollama。同一プロンプト・文脈長4096・生成512トークン・temperature 0・seed 0 固定。コールド1回のあとウォーム3回を測り、その中央値を代表値にしています。

別機データ ── mac-mini（M4・メモリ24GB）と、統合メモリ128GBのミニPC（EVO-X2）で計測されたデータ。手元の3090とは別環境のため、参考値として帰属を明記して並べます。

生成速度は「1秒あたり何トークン出せるか（tok/s）」で表します。トークンはおおまかに単語や文字の断片で、数字が大きいほど文章が速く出てきます。

RTX 3090 で量子化を変えて測った結果

同じ 3090 の上で、Gemma 4 の量子化やサイズ違いを走らせた実測値です。

RTX 3090 実測 ── Gemma 4 系生成速度

モデル / 量子化	速度 tok/s	備考
Gemma4 26B（MoE a4b・QAT）	110	最速級
Gemma4 26B（標準）	80	—
Gemma4 26B（MoE a4b・Q8）	70	—
Gemma4 31B（QAT）	37	—
Gemma4 31B（標準）	25	—
Gemma4 31B（Q8）	8	約33GBで24GBに収まらず大きく失速

はっきり出たのは、同じ 26B でも「MoE a4b・QAT」版は標準版の1.4倍ほど速く、31B の Q8 版は容量が24GBを超えて逆に極端に遅くなるという差でした。

MoE（混合エキスパート）は、毎回モデル全体ではなく必要な一部だけを動かす仕組みで、見かけのサイズより軽く動きます。QAT（量子化を織り込んで学習し直したもの）は、粗くしても精度が落ちにくいように調整された版です。この2つが重なった「a4b・QAT」が、3090では最も効率よく回りました。

一方で31BのQ8版は、精度を保つぶんサイズが約33GBまで膨らみ、24GBのVRAMに収まりません。あふれた部分がGPUの外に押し出され、速度は8tok/sまで落ちました。量子化は「粗くするほど速い」という単純な話ではなく、載りきるサイズに収めることが速度の前提条件になります。

別の機体ではどうだったか

同じモデルを別環境で計測したデータも並べます。手元の3090とは条件が異なるため、機体名を添えた参考値として扱ってください。

別機データ ── 同系モデルの生成速度（帰属つき参考値）

機体	モデル	速度 tok/s
mac-mini（M4・24GB）	Gemma4 26B（MoE a4b・QAT）	33
EVO-X2（統合128GB）	Gemma4 31B	10.1
RTX 3090（再掲）	Gemma4 26B（MoE a4b・QAT）	110

同じ「26B・MoE a4b・QAT」で比べると、3090の110tok/sに対しmac-miniは33tok/sというデータでした。dGPU（外付けの専用グラフィックカード）と、CPUにメモリを統合したミニPCとでは、メモリ帯域の差がそのまま速度差に出ています。EVO-X2は大きなモデルを載せられる容量が持ち味で、速度そのものは3090に譲るという位置づけのデータになっています。