ローカルLLM モデルの選び方〜十数個を実際に動かして分かった5つの軸｜チューニング連載第1話

2026年9月5日2026年10月7日

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

ローカルAIを始めてまず迷ったのが、どのモデルを選べばいいのか、という点でした。生成AI用アプリOllamaのモデル一覧を見ると、名前もサイズも違うモデルが何百と並んでいて、どれが自分のパソコンで動くのか、どれを使えば良いのか分かりません。

そこで手元のパソコンで十数個のモデルを実際に動かし、速さと賢さを測ってみました。本記事では、そこから見えてきた「モデルを選ぶときに見る軸」を、実測の数字とあわせて記録します。名前の並びを眺めるかわりに、何を見れば自分の一台に合うモデルを選べるのでしょうか？

ここで言う「モデル」とは、AIの本体になるファイルのことです。ChatGPT のような賢さの部分を、そのままファイルにして自分のパソコンに置くもの、と考えるとイメージしやすいと思います。

測定したのは2026年7月です。モデルの顔ぶれは入れ替わりが速いため、数字はその時点のものとして読んでください。

1. 使用した機器の概要
2. モデル選びで見るのは、この5つ
3. 軸① 用途で決める（賢さは大きさに比例しない）
4. 軸② サイズとVRAM（ここが収まるかどうかが最重要）
- 4.1. 大きなモデルはメモリーの多いパソコンが向く
- 4.2. 実例：100MiB足りずに載らなかった
5. 軸③ 量子化でサイズを調整する
6. 軸④ MoE なら、大きくても速い
7. 軸⑤ 速度はGPUの帯域で決まる
8. まとめ：この順番で絞ると迷わない
9. この記事で確かめていないこと
- 9.1. あわせて読みたい
10. 検証に使用した機材

使用した機器の概要

測定に使ったのは、次の2台です。ふだん使いのデスクトップPCと、メモリーを多く積んだミニPCの2種類で、収まるモデルの大きさが違います。

項目	デスクトップPC	ミニPC（EVO-X2）
CPU	Ryzen 9 3950X	Ryzen AI Max+ 395
メモリー	64GB	128GB（GPUと共有）
GPU	RTX 3090（24GB）、RTX 3060（12GB）	内蔵 Radeon 8060S
OS	Ubuntu	Ubuntu
実行ソフト	Ollama

デスクトップPCの RTX 3090 は、GPU本体に 24GB の専用メモリー（VRAM）を積んだ製品です。ミニPCの EVO-X2 は、GPU専用のメモリーを持たない代わりに、128GB のメモリーをCPUとGPUで分け合う仕組みで、大きなモデルを載せるのに向いています。

モデル選びで見るのは、この5つ

十数個を動かしてみて、選ぶときに効いてくるのは次の5つに整理できました。上から順に見ていくと、自分のパソコンに合う一台に絞り込めます。

モデルを選ぶときに見る5つの軸

① 用途 ― 何をさせたいか（雑談・調べもの・プログラム作成）

② サイズとVRAM ― 自分のGPUのメモリーに収まるか

③ 量子化 ― モデルをどれだけ圧縮するか

④ MoE か dense か ― 大きくても速い作りかどうか

⑤ 速度 ― 実際に何 tok/s 出るか（GPU次第）

以下、ひとつずつ実測の数字で見ていきます。

軸① 用途で決める（賢さは大きさに比例しない）

大きいモデルほど賢い、と思われがちですが、実際に測ってみると、そう単純ではありませんでした。

12個のモデルに同じテストを受けさせ、「考える力」（推論8問）と「プログラムを書く力」（コーディング7課題の正答率）の2つで採点しました。採点はテスト結果だけで決まるため、どのパソコンで動かしても同じ結果が出ます。

モデル	本体サイズ	考える力	プログラム
Ornith-1.0-35B	21GB	7/8	7/7
qwen3.6:35b-a3b	約21GB	7/8	7/7
gemma4:31b	約19GB	7/8	7/7
qwen3:14b	9.3GB	7/8	6/7
Ornith-1.0-9B	5.6GB	7/8	6/7
phi4-mini	2.5GB	7/8	4/7
qwen3:8b	5.2GB	5/8	6/7

考える力=推論8問中の正答数、プログラム=コーディング7課題の正答率。デスクトップPC・Ollama・2026年7月時点の実測。単一の総合点は付けず、2つの力を別々に見ています。

目を引いたのは phi4-mini です。本体 2.5GB という最小クラスながら、考える力では 7/8 と、20GB 級の大きなモデルに並びました。一方でプログラムを書く力は 4/7 にとどまり、ここは大きなモデルに差をつけられています。

「調べものや文章の相談が中心」なら小さな phi4-mini でも十分で、「プログラムを書かせたい」なら Ornith-35B や gemma4:31b といった大きなモデルが要る、という選び分けです。用途を先に決めると、必要以上に大きなモデルを選ばずに済みます。

軸② サイズとVRAM（ここが収まるかどうかが最重要）

モデルは、GPU のメモリーである VRAM に丸ごと載ると本来の速さで動きます。載り切らずに一部があふれると、あふれた分をCPU側のメモリーで肩代わりすることになり、速度が大きく落ちます。

これがどのくらい効くのかを、同じ gemma4:31b で見てみます。デスクトップPCの RTX 3090（24GB）に対し、圧縮の強さ（後述する量子化）を変えて載せた結果です。

gemma4:31b の版	VRAM使用	24GBに収まるか	速度
Q4（標準的な圧縮）	20.3GB	収まる	24.82 tok/s
QAT（品質重視の圧縮）	19.2GB	収まる	36.95 tok/s
Q8（ほぼ圧縮しない）	22.8GB	あふれる	7.95 tok/s

tok/s=1秒あたりに生成できる文字のかたまり（トークン）の数。大きいほど速い。デスクトップPC RTX 3090・Ollama・2026年7月時点の実測。

Q8 版は数字の上では 22.8GB で、24GB に収まりそうに見えます。ところが実際には推論の途中で使う作業用メモリーが加わってあふれ、速度が 7.95 tok/s まで落ちました。収まった Q4 版の 24.82 tok/s と比べると、3分の1以下です。「サイズの数字が VRAM より少し小さい」くらいでは、あふれると考えておいたほうが安全なようです。

大きなモデルはメモリーの多いパソコンが向く

逆に、メモリーを多く積んだパソコンなら、大きなモデルもあふれずに動きます。120B（1200億パラメータ）クラスの gpt-oss:120b で比べると、違いがはっきり出ました。

動かした機器	収まるか	速度
デスクトップPC（RTX 3090・24GB）	あふれる	17.33 tok/s
ミニPC EVO-X2（128GB共有）	収まる	33.21 tok/s

gpt-oss:120b。デスクトップPCは24GBに載り切らず一部があふれた状態。EVO-X2は128GBの共有メモリーに全体が収まっています。2026年7月時点の実測。

同じモデルでも、収まるかどうかで速度が倍近く変わりました。「どのモデルを選ぶか」は、自分のGPUのVRAM（またはメモリー）に収まる範囲から選ぶ、というのが出発点です。

実例：100MiB足りずに載らなかった

2026年8月14日に公開された Qwen3.8-27B で、この「収まるかどうか」がはっきり出ました。密なモデルで、4ビットの標準的な刻み（Q4_K_M）にすると約15.3GiBです。数字だけ見れば、16GBのグラフィックボードに収まりそうに思えます。

ところが、当方が RX 9060 XT（16GB）で試したところ載りませんでした。必要なのが 16,397MiB、実際に使えるのが 16,304MiB。差は約100MiB です。VRAMは全部が使えるわけではなく、画面の表示などに少し取られます。カタログの容量と、実際に置ける量は違います。

刻み	16GBのGPUで	読む速さ / 書く速さ
Q2_K_XL	載る	596.33 / 24.54 tok/s
Q4_K_S	載る	562.34 / 17.48 tok/s
Q4_K_M 以上	載らない	—

RX 9060 XT 16GB での実測（2026年9月6日）。tok/s は1秒あたりの語の数です。

もうひとつ、このモデルは密なモデルです。次の軸④で書くとおり、同じくらいの大きさでも MoE のモデルより遅くなります。「27B」という数字だけでは、速いか遅いかは決まりません。

軸③ 量子化でサイズを調整する

量子化とは、モデルを圧縮してファイルを小さくする技術です。写真を JPEG で保存するときに画質を少し落として容量を減らすのと似ていて、賢さをわずかに犠牲にする代わりに、VRAM に収まりやすくなります。

Ollama でよく見かけるのは次の3種類です。

Q4 … 標準的な圧縮。サイズと賢さのバランスが良く、まずこれを選べば失敗が少ない
Q8 … ほとんど圧縮しない版。賢さは高いがサイズが約2倍で、あふれやすい
QAT … 圧縮を前提に学習し直した版。小さいまま品質を保ちやすい

さきほどの gemma4:31b の表がそのまま量子化の効きを示しています。Q8 は賢さでは有利でも、サイズが大きく VRAM をあふれさせて逆に遅くなりました。QAT は 19.2GB と小さく収まったうえに 36.95 tok/s と最も速く、圧縮版のなかでは扱いやすい選択でした。

迷ったら Q4 を選び、VRAM に余裕があれば QAT を探す、という順で問題ないと思います。

軸④ MoE なら、大きくても速い

モデルには大きく2つの作りがあります。ひとつは dense（デンス）と呼ばれる、全体を毎回使う作り。もうひとつが MoE（Mixture of Experts、専門家の集まり）で、内部にたくさんの「専門家」を持ち、質問ごとに一部だけを使う作りです。

MoE は、モデル全体は大きくても、実際に動くのは一部だけなので、サイズのわりに速く動きます。ほぼ同じ賢さの2モデルを EVO-X2 で比べると、差がはっきり出ました。

モデル	作り	毎回使う量	賢さ	速度
qwen3.6:35b-a3b	MoE	3B分だけ	7/8・7/7	55.3 tok/s
gemma4:31b	dense	31B全部	7/8・7/7	10.11 tok/s

賢さ=考える力/プログラムの正答。ミニPC EVO-X2・Ollama・2026年7月時点の実測。qwen3.6:35b-a3b の「a3b」は、毎回使うのが約3B分という意味です。

賢さはどちらも 7/8・7/7 で並んでいるのに、速度は MoE の qwen3.6:35b-a3b が 55.3 tok/s、dense の gemma4:31b が 10.11 tok/s と、5倍以上の開きになりました。名前に「a3b」「a4b」のように「a＋数字」が付いていれば MoE で、毎回使う量がその数字ぶん、という見方ができます。速さと賢さを両立したいなら、MoE は有力な選択肢です。

同じ EVO-X2 で、算術96問（答える前に考える機能＝思考を止めた条件・各問1回）も追加で測りました。正答率は gemma4:31b が 0.854（82/96問）、qwen3.6:35b-a3b が 0.792（76/96問）です。この差は1回測定の6問ぶんで、順位を付けられる水準ではありません。思考を許した条件は、30分の上限内に終わらず測れていません。上の 7/8・7/7 の試験とは別のものです。

qwen3.6:35b-a3b（MoE） | 55.3
gemma4:31b（dense） | 10.11