巨大なローカルLLMは家のPCで動くのか〜235B・745Bを2台で実測してみた
128GBのメモリを積んだミニPC、GMKtec EVO-X2（以下、EVO-X2）を使ってきて、だんだん欲が出てきました。235B（2350億パラメータ）のモデルが動いたのなら、その上はどこまで動くのか、という興味です。
ところが 73GB を超えるあたりから、モデルが読み込まれたきり、いつまで待っても文字が出てこない状態に何度も出くわしました。ディスクの読み込みが遅いのだろうと考えていたのですが、調べていくと原因は別のところにありました。
本記事では、その原因と、設定ひとつで 86GB のモデルが実用速度で動くようになった経緯を記録します。あわせて、745B（7450億パラメータ）という桁違いのモデルを、24GB のグラフィックボード1枚に無理やり載せたらどうなるのかも試しました。
2026年7月時点の内容です。
使用した機器の概要
性格の違う2台で測りました。片方は一般的な自作デスクトップPC、もう片方は大容量メモリのミニPCです。
| デスクトップPC | ミニPC | |
|---|---|---|
| GPU | NVIDIA GeForce RTX 3090（VRAM 24GB） | Radeon 8060S（CPU内蔵） |
| メモリ | 62GB | 128GB（ユニファイドメモリ） |
| SSD | NVMe・順次読み出し 約1.7GB/s | 約3.1GB/s |
| 備考 | — | GMKtec EVO-X2。Vulkan からは約116GBが「VRAM」として見える |
ユニファイドメモリは、CPU と GPU が1つのメモリを分け合って使う仕組みです。グラフィックボードのように容量が固定されていないため、大きいモデルを載せるうえでは有利に働きます。
GMKtec EVO-X2（Ryzen AI Max+ 395 / 128GB / 2TB）
手のひらより少し大きい程度の、四角い箱です。この大きさで 128GB のメモリを積んでいる点が、今回の実験の土台にあたります。
なお EVO-X2 で 235B を動かすまでのBIOS設定については、大容量メモリのミニPCで235Bを動かす、BIOS設定の落とし穴と正解に詳しく書きました。本記事はその先の話にあたります。
大きなモデルが固まる原因は、ディスクではなかった
EVO-X2 で 73GB 以上のモデルを動かそうとすると、読み込みは終わったように見えるのに、そこから1文字も出てこない状態になりました。最初はSSDの読み込み速度を疑いました。ただ、この機体のSSDは 3.1GB/s で読めるため、73GB を読むだけなら計算上は30秒ほどで済みます。何時間も待たされる説明にはなりません。
調べていくと、原因は mmap（メモリマップ）という読み込み方式にありました。これはモデルのファイルを丸ごと読み込むのではなく、必要になった部分だけを都度ディスクから拾う方式です。ふだんは起動が速くなる利点のある仕組みですが、モデルが大きいと、拾いに行く回数が膨大に膨らみます。順番に読めば速いSSDも、あちこちを細かく拾う読み方では速度が出ません。
この方式は既定で有効になっています。切ってみたところ、結果がはっきり変わりました。
| モデル | サイズ | 既定（mmap 有効） | mmap を切った場合 |
|---|---|---|---|
| GLM-4.5-Air | 73GB | 止まる | 22秒で読み込み・14.7 tok/s |
| Qwen3-235B（Q2） | 86GB | 止まる | 27秒で読み込み・19.9 tok/s |
| MiniMax-M2（108B級） | 108GB | 止まる | メモリ不足で起動せず |
| gpt-oss:120b | 65GB | 35 tok/s | — |
止まっていたモデルが、20秒台の読み込みで動き出しました。2350億パラメータのモデルが、この小さな箱で 19.9 tok/s です。人が読む速さを上回るため、待たされている感覚はほとんどありません。
mmap を切ったあとの生成速度（tok/s・大きいほど速い）
GMKtec EVO-X2（128GB）での実測。2026年7月時点。gpt-oss:120b は既定設定のまま。
一方で 108GB のモデルは、mmap を切ってもメモリ不足で起動しませんでした。128GB を積んでいても、OSや他の用途が使う分があるため、全部をモデルに回せるわけではありません。この機体で実際に動かせる上限は 86〜90GB あたり、というのが今回の感触です。
なお、読み込みの遅さがどこから来るのかについては、ローカルLLMの"待ち時間"を3台で実測したでも扱っています。
745Bを、24GBのグラフィックボード1枚に無理やり載せる
ここからは実用性を離れた実験です。GLM-5.2 は 745B、7450億パラメータのモデルです。もっとも小さい 1.5ビット量子化（モデルを圧縮して必要なメモリを減らす処理）にしても 202GB あります。24GB のグラフィックボードはもちろん、128GB のミニPCにも収まりません。
足りない分をSSDで肩代わりさせれば、理屈のうえでは動くはずです。実際に試したところ、2つの設定が要りました。
--no-warmupを付ける。起動時のウォームアップ処理が 202GB 全体に触れようとするため、これを止めないと終わりません。最初の試みでは5時間かけて1文字も出ませんでした。付けたところ、読み込みは約40秒で済みました- MoE（複数の専門家モデルを切り替えて使う構造）の専門家部分をCPU側に置き（
-cmoe）、必要になったぶんだけSSDから読ませる
この状態で「日本の首都は」と尋ねたところ、GLM-5.2 は正しく答えました。速度は次のとおりです。
| 機体 | 速度 | 備考 |
|---|---|---|
| デスクトップPC（RTX 3090） | 0.21 tok/s | — |
| ミニPC（EVO-X2） | 0.55 tok/s | デスクトップPCの約2.6倍 |
| ミニPC（調整後） | 0.76 tok/s | -ncmoe 50＋起動する専門家を絞った場合 |
0.2〜0.76 tok/s は、1文を書かせるのに数分かかる速さです。実用にはなりません。それでも分かったことがあります。巨大なモデルを無理やり動かすときに問題になるのは「起動できるかどうか」ではなく、「生成がどれだけ遅くなるか」のほうでした。そしてその速度は、速いメモリの量とSSDの速さに素直に比例していました。デスクトップPCとミニPCで 2.6倍の差がついたのは、メモリ容量とSSD速度の差がそのまま出た結果だと考えられます。
ハードを選ぶときに何を見るか
今回の測定から言えることを、目的別に整理しました。
| やりたいこと | 向く構成 |
|---|---|
| 100B級のモデルを実際に使いたい | 大容量のユニファイドメモリを積んだミニPC。86GB程度までなら実用速度で動き、235BのMoEモデルでも 20 tok/s 前後が出ます |
| 24GBのグラフィックボード1枚で使いたい | 30B級までが快適な範囲です。それ以上は「動くには動く」という水準にとどまります |
| とにかく大きいモデルを試したい | モデルがディスクにあふれる領域では、GPUの計算性能より、速いメモリの量とSSDの速さのほうが効きます |
大容量メモリの機体そのものの比較については、大容量メモリでローカルLLMを動かすなら？にまとめてあります。
まとめ
大きなモデルが動かないとき、原因がハードウェアの力不足とは限りませんでした。今回の場合、73GB以上のモデルが止まっていた理由は読み込み方式の設定にあり、切り替えるだけで 86GB のモデルが 19.9 tok/s で動きました。
745B のほうは、動いたという事実だけが残る結果でした。ただ、無理やり動かしてみると、どこが本当のボトルネックなのかが見えてきます。速いメモリの量とSSDの速さが効くという傾向は、もっと現実的な構成を選ぶときの判断材料にもなりそうです。
数値はいずれも 2026年7月時点の実測で、量子化の種類やドライバ、冷却の状態によって変わります。
参考にしたサイト
-cmoe / -ncmoe にあたる。