ローカルLLM モデルの選び方 〜十数個を実際に動かして分かった5つの軸｜チューニング連載 第1話

2026年9月5日2026年10月7日

ローカルAIを始めてまず迷ったのが、どのモデルを選べばいいのか、という点でした。生成AI用アプリOllamaのモデル一覧を見ると、名前もサイズも違うモデルが何百と並んでいて、どれが自分のパソコンで動くのか、どれを使えば良いのか分かりません。

そこで手元のパソコンで十数個のモデルを実際に動かし、速さと賢さを測ってみました。本記事では、そこから見えてきた「モデルを選ぶときに見る軸」を、実測の数字とあわせて記録します。名前の並びを眺めるかわりに、何を見れば自分の一台に合うモデルを選べるのでしょうか？

ここで言う「モデル」とは、AIの本体になるファイルのことです。ChatGPT のような賢さの部分を、そのままファイルにして自分のパソコンに置くもの、と考えるとイメージしやすいと思います。

測定したのは2026年7月です。モデルの顔ぶれは入れ替わりが速いため、数字はその時点のものとして読んでください。

使用した機器の概要

測定に使ったのは、次の2台です。ふだん使いのデスクトップPCと、メモリーを多く積んだミニPCの2種類で、収まるモデルの大きさが違います。

デスクトップPCの RTX 3090 は、GPU本体に 24GB の専用メモリー（VRAM）を積んだ製品です。ミニPCの EVO-X2 は、GPU専用のメモリーを持たない代わりに、128GB のメモリーをCPUとGPUで分け合う仕組みで、大きなモデルを載せるのに向いています。

モデル選びで見るのは、この5つ

十数個を動かしてみて、選ぶときに効いてくるのは次の5つに整理できました。上から順に見ていくと、自分のパソコンに合う一台に絞り込めます。

以下、ひとつずつ実測の数字で見ていきます。

軸① 用途で決める（賢さは大きさに比例しない）

大きいモデルほど賢い、と思われがちですが、実際に測ってみると、そう単純ではありませんでした。

12個のモデルに同じテストを受けさせ、「考える力」（推論8問）と「プログラムを書く力」（コーディング7課題の正答率）の2つで採点しました。採点はテスト結果だけで決まるため、どのパソコンで動かしても同じ結果が出ます。

目を引いたのは phi4-mini です。本体 2.5GB という最小クラスながら、考える力では 7/8 と、20GB 級の大きなモデルに並びました。一方でプログラムを書く力は 4/7 にとどまり、ここは大きなモデルに差をつけられています。

「調べものや文章の相談が中心」なら小さな phi4-mini でも十分で、「プログラムを書かせたい」なら Ornith-35B や gemma4:31b といった大きなモデルが要る、という選び分けです。用途を先に決めると、必要以上に大きなモデルを選ばずに済みます。

軸② サイズとVRAM（ここが収まるかどうかが最重要）

モデルは、GPU のメモリーである VRAM に丸ごと載ると本来の速さで動きます。載り切らずに一部があふれると、あふれた分をCPU側のメモリーで肩代わりすることになり、速度が大きく落ちます。

これがどのくらい効くのかを、同じ gemma4:31b で見てみます。デスクトップPCの RTX 3090（24GB）に対し、圧縮の強さ（後述する量子化）を変えて載せた結果です。

Q8 版は数字の上では 22.8GB で、24GB に収まりそうに見えます。ところが実際には推論の途中で使う作業用メモリーが加わってあふれ、速度が 7.95 tok/s まで落ちました。収まった Q4 版の 24.82 tok/s と比べると、3分の1以下です。「サイズの数字が VRAM より少し小さい」くらいでは、あふれると考えておいたほうが安全なようです。

大きなモデルはメモリーの多いパソコンが向く

逆に、メモリーを多く積んだパソコンなら、大きなモデルもあふれずに動きます。120B（1200億パラメータ）クラスの gpt-oss:120b で比べると、違いがはっきり出ました。

同じモデルでも、収まるかどうかで速度が倍近く変わりました。「どのモデルを選ぶか」は、自分のGPUのVRAM（またはメモリー）に収まる範囲から選ぶ、というのが出発点です。

実例：100MiB足りずに載らなかった

2026年8月14日に公開された Qwen3.8-27B で、この「収まるかどうか」がはっきり出ました。密なモデルで、4ビットの標準的な刻み（Q4_K_M）にすると約15.3GiBです。数字だけ見れば、16GBのグラフィックボードに収まりそうに思えます。

ところが、当方が RX 9060 XT（16GB）で試したところ載りませんでした。必要なのが 16,397MiB、実際に使えるのが 16,304MiB。差は約100MiB です。VRAMは全部が使えるわけではなく、画面の表示などに少し取られます。カタログの容量と、実際に置ける量は違います。

もうひとつ、このモデルは密なモデルです。次の軸④で書くとおり、同じくらいの大きさでも MoE のモデルより遅くなります。「27B」という数字だけでは、速いか遅いかは決まりません。

軸③ 量子化でサイズを調整する

量子化とは、モデルを圧縮してファイルを小さくする技術です。写真を JPEG で保存するときに画質を少し落として容量を減らすのと似ていて、賢さをわずかに犠牲にする代わりに、VRAM に収まりやすくなります。

Ollama でよく見かけるのは次の3種類です。

• Q4 … 標準的な圧縮。サイズと賢さのバランスが良く、まずこれを選べば失敗が少ない
• Q8 … ほとんど圧縮しない版。賢さは高いがサイズが約2倍で、あふれやすい
• QAT … 圧縮を前提に学習し直した版。小さいまま品質を保ちやすい

さきほどの gemma4:31b の表がそのまま量子化の効きを示しています。Q8 は賢さでは有利でも、サイズが大きく VRAM をあふれさせて逆に遅くなりました。QAT は 19.2GB と小さく収まったうえに 36.95 tok/s と最も速く、圧縮版のなかでは扱いやすい選択でした。

迷ったら Q4 を選び、VRAM に余裕があれば QAT を探す、という順で問題ないと思います。

軸④ MoE なら、大きくても速い

モデルには大きく2つの作りがあります。ひとつは dense（デンス）と呼ばれる、全体を毎回使う作り。もうひとつが MoE（Mixture of Experts、専門家の集まり）で、内部にたくさんの「専門家」を持ち、質問ごとに一部だけを使う作りです。

MoE は、モデル全体は大きくても、実際に動くのは一部だけなので、サイズのわりに速く動きます。ほぼ同じ賢さの2モデルを EVO-X2 で比べると、差がはっきり出ました。

賢さはどちらも 7/8・7/7 で並んでいるのに、速度は MoE の qwen3.6:35b-a3b が 55.3 tok/s、dense の gemma4:31b が 10.11 tok/s と、5倍以上の開きになりました。名前に「a3b」「a4b」のように「a＋数字」が付いていれば MoE で、毎回使う量がその数字ぶん、という見方ができます。速さと賢さを両立したいなら、MoE は有力な選択肢です。

同じ EVO-X2 で、算術96問（答える前に考える機能＝思考を止めた条件・各問1回）も追加で測りました。正答率は gemma4:31b が 0.854（82/96問）、qwen3.6:35b-a3b が 0.792（76/96問）です。この差は1回測定の6問ぶんで、順位を付けられる水準ではありません。思考を許した条件は、30分の上限内に終わらず測れていません。上の 7/8・7/7 の試験とは別のものです。

qwen3.6:35b-a3b（MoE） | 55.3
gemma4:31b（dense） | 10.11

軸⑤ 速度はGPUの帯域で決まる

同じモデルでも、動かすGPUによって速度は変わります。文章を生成する処理は、メモリーとの間でデータをやり取りする太さ（メモリー帯域）で頭打ちになるためで、帯域の広いGPUほど速くなります。

同じモデルを3種類のGPUで測った結果です。

上位の RTX 3090 と普及帯の RTX 3060 では、同じモデルでおおむね2倍近い差が出ました。ここで大事なのは、速度の順番がどのモデルでも変わらない点です。GPU を選ぶ段階で速度のおおよその上限が決まり、そのなかでモデルのサイズを選ぶと生成速度が決まる、という関係になっています。

まとめ：この順番で絞ると迷わない

十数個を動かしてみて、モデル選びは次の順で考えると迷いにくいと分かりました。

速度そのものは GPU を替えないと大きくは変わりませんが、この順で選べば、手持ちのパソコンで一番快適に動く一台にたどり着けます。

一番大きいモデルを入れれば良い、という話ではありませんでした。自分のパソコンに収まる一台を探すうちに、VRAMや量子化といった言葉が実感を伴って分かってきます。

次回は、選んだモデルを同じままで、設定を詰めてもう少し速く動かす小技を実測で見ていきます。

この記事で確かめていないこと

測ったのは手元の機材で動かした範囲です。同じモデルでも、量子化の種類や文脈の長さを変えれば数字は動きます。賢さの比較は当窓が用意した課題に対するもので、別の課題では順位が変わる可能性があります。ここに出ていないモデルについては、何も言えません。

あわせて読みたい

検証に使用した機材

今回の測定に使った機材です。

使用したデスクトップGPU（上位）：NVIDIA GeForce RTX 3090

使用したデスクトップGPU（普及帯）：NVIDIA GeForce RTX 3060

大きなモデルの検証に使ったミニPC：GMKtec EVO-X2

ローカルAIをこれから始める方はこちらです。

量子化の違いを実測で比べた記事はこちらです。