Gemma 4を量子化違いで速度実測 〜 同じモデルでも数倍差、そして”載らない”量子化

2026年7月7日

同じ大規模言語モデルでも、「量子化」と呼ばれる圧縮のかけ方ひとつで、生成速度が数倍変わり、場合によってはそもそもグラフィックカードに載りきらないことがあります。ここでは Google の軽量モデル Gemma 4 を題材に、量子化の違いで速度がどう動くかを、手元の RTX 3090 で実際に計測した結果を中心にまとめます。

量子化（quantization）は、モデル内部の数値の精度をわざと粗くしてサイズを小さくする手法です。写真の画質を落としてファイルを軽くするのに近い発想で、精度を少し犠牲にする代わりに、メモリ使用量と処理の重さを下げられます。「Q4」「Q8」といった表記がその粗さの度合いで、数字が小さいほど大きく削っています。

計測の条件

数値の帰属をはっきりさせるため、機体ごとに測り方を分けています。

生成速度は「1秒あたり何トークン出せるか（tok/s）」で表します。トークンはおおまかに単語や文字の断片で、数字が大きいほど文章が速く出てきます。

RTX 3090 で量子化を変えて測った結果

同じ 3090 の上で、Gemma 4 の量子化やサイズ違いを走らせた実測値です。

はっきり出たのは、同じ 26B でも「MoE a4b・QAT」版は標準版の1.4倍ほど速く、31B の Q8 版は容量が24GBを超えて逆に極端に遅くなるという差でした。

MoE（混合エキスパート）は、毎回モデル全体ではなく必要な一部だけを動かす仕組みで、見かけのサイズより軽く動きます。QAT（量子化を織り込んで学習し直したもの）は、粗くしても精度が落ちにくいように調整された版です。この2つが重なった「a4b・QAT」が、3090では最も効率よく回りました。

一方で31BのQ8版は、精度を保つぶんサイズが約33GBまで膨らみ、24GBのVRAMに収まりません。あふれた部分がGPUの外に押し出され、速度は8tok/sまで落ちました。量子化は「粗くするほど速い」という単純な話ではなく、載りきるサイズに収めることが速度の前提条件になります。

別の機体ではどうだったか

同じモデルを別環境で計測したデータも並べます。手元の3090とは条件が異なるため、機体名を添えた参考値として扱ってください。

同じ「26B・MoE a4b・QAT」で比べると、3090の110tok/sに対しmac-miniは33tok/sというデータでした。dGPU（外付けの専用グラフィックカード）と、CPUにメモリを統合したミニPCとでは、メモリ帯域の差がそのまま速度差に出ています。EVO-X2は大きなモデルを載せられる容量が持ち味で、速度そのものは3090に譲るという位置づけのデータになっています。

量子化を選ぶときの目安

今回の実測から言える範囲でまとめます。

VRAMに収まるかどうかを最優先に確認する。収まらない量子化を選ぶと、精度が高くても速度が実用外まで落ちます。

同じサイズならMoE版・QAT版を優先する。3090では「a4b・QAT」が標準版より明確に速く出ました。

速度だけを理由にQ4のような粗い量子化へ振り切る必要はない。載りきるなら、精度を保った版でも十分な速度が出る場合があります。

この構成が向かない場合

一つの機体で複数の量子化を測り比べる作業は、モデルのダウンロードと入れ替えに時間と保存容量を使います。1種類を選んで使い続けたい人には過剰です。

数値はあくまで文脈長4096・生成512トークンという固定条件でのものです。長文入力や画像生成など用途が変わると傾向も変わるため、自分の使い方に近い条件で測り直す前提で読んでください。

結論: 量子化は「粗くするほど速い」ではなく、まずVRAMに載りきるサイズを選び、そのうえでMoE・QATのような効率のよい版を取るのが、今回の3090実測でいちばん速度と精度の釣り合う組み合わせでした。