巨大なローカルLLMは家のPCで動くのか〜235B・745Bを2台で実測してみた

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

128GBのメモリを積んだミニPC、GMKtec EVO-X2（以下、EVO-X2）を使ってきて、だんだん欲が出てきました。235B（2350億パラメータ）のモデルが動いたのなら、その上はどこまで動くのか、という興味です。

ところが 73GB を超えるあたりから、モデルが読み込まれたきり、いつまで待っても文字が出てこない状態に何度も出くわしました。ディスクの読み込みが遅いのだろうと考えていたのですが、調べていくと原因は別のところにありました。

本記事では、その原因と、設定ひとつで 86GB のモデルが実用速度で動くようになった経緯を記録します。あわせて、745B（7450億パラメータ）という桁違いのモデルを、24GB のグラフィックボード1枚に無理やり載せたらどうなるのかも試しました。

2026年7月時点の内容です。

使用した機器の概要

性格の違う2台で測りました。片方は一般的な自作デスクトップPC、もう片方は大容量メモリのミニPCです。

デスクトップPCミニPC
GPUNVIDIA GeForce RTX 3090（VRAM 24GB）Radeon 8060S（CPU内蔵）
メモリ62GB128GB（ユニファイドメモリ）
SSDNVMe・順次読み出し 約1.7GB/s約3.1GB/s
備考—GMKtec EVO-X2。Vulkan からは約116GBが「VRAM」として見える

ユニファイドメモリは、CPU と GPU が1つのメモリを分け合って使う仕組みです。グラフィックボードのように容量が固定されていないため、大きいモデルを載せるうえでは有利に働きます。

GMKtec EVO-X2（Ryzen AI Max+ 395 / 128GB / 2TB）

手のひらより少し大きい程度の、四角い箱です。この大きさで 128GB のメモリを積んでいる点が、今回の実験の土台にあたります。

[kimono_product id="16082″]

なお EVO-X2 で 235B を動かすまでのBIOS設定については、大容量メモリのミニPCで235Bを動かす、BIOS設定の落とし穴と正解に詳しく書きました。本記事はその先の話にあたります。

大きなモデルが固まる原因は、ディスクではなかった

EVO-X2 で 73GB 以上のモデルを動かそうとすると、読み込みは終わったように見えるのに、そこから1文字も出てこない状態になりました。最初はSSDの読み込み速度を疑いました。ただ、この機体のSSDは 3.1GB/s で読めるため、73GB を読むだけなら計算上は30秒ほどで済みます。何時間も待たされる説明にはなりません。

調べていくと、原因は mmap（メモリマップ）という読み込み方式にありました。これはモデルのファイルを丸ごと読み込むのではなく、必要になった部分だけを都度ディスクから拾う方式です。ふだんは起動が速くなる利点のある仕組みですが、モデルが大きいと、拾いに行く回数が膨大に膨らみます。順番に読めば速いSSDも、あちこちを細かく拾う読み方では速度が出ません。

この方式は既定で有効になっています。切ってみたところ、結果がはっきり変わりました。

モデルサイズ既定（mmap 有効）mmap を切った場合
GLM-4.5-Air73GB止まる22秒で読み込み・14.7 tok/s
Qwen3-235B（Q2）86GB止まる27秒で読み込み・19.9 tok/s
MiniMax-M2（108B級）108GB止まるメモリ不足で起動せず
gpt-oss:120b65GB35 tok/s—

止まっていたモデルが、20秒台の読み込みで動き出しました。2350億パラメータのモデルが、この小さな箱で 19.9 tok/s です。人が読む速さを上回るため、待たされている感覚はほとんどありません。

[kimono_bar title="mmap を切ったあとの生成速度（tok/s・大きいほど速い）" unit="tok/s" highlight="2″ note="GMKtec EVO-X2（128GB）での実測。2026年7月時点。gpt-oss:120b は既定設定のまま。"]
GLM-4.5-Air（73GB） | 14.7
Qwen3-235B Q2（86GB） | 19.9
gpt-oss:120b（65GB） | 35.0
[/kimono_bar]

一方で 108GB のモデルは、mmap を切ってもメモリ不足で起動しませんでした。128GB を積んでいても、OSや他の用途が使う分があるため、全部をモデルに回せるわけではありません。この機体で実際に動かせる上限は 86〜90GB あたり、というのが今回の感触です。

なお、読み込みの遅さがどこから来るのかについては、ローカルLLMの"待ち時間"を3台で実測したでも扱っています。

745Bを、24GBのグラフィックボード1枚に無理やり載せる

ここからは実用性を離れた実験です。GLM-5.2 は 745B、7450億パラメータのモデルです。もっとも小さい 1.5ビット量子化（モデルを圧縮して必要なメモリを減らす処理）にしても 202GB あります。24GB のグラフィックボードはもちろん、128GB のミニPCにも収まりません。

足りない分をSSDで肩代わりさせれば、理屈のうえでは動くはずです。実際に試したところ、2つの設定が要りました。

  1. --no-warmup を付ける。起動時のウォームアップ処理が 202GB 全体に触れようとするため、これを止めないと終わりません。最初の試みでは5時間かけて1文字も出ませんでした。付けたところ、読み込みは約40秒で済みました
  2. MoE（複数の専門家モデルを切り替えて使う構造）の専門家部分をCPU側に置き（-cmoe）、必要になったぶんだけSSDから読ませる

この状態で「日本の首都は」と尋ねたところ、GLM-5.2 は正しく答えました。速度は次のとおりです。

機体速度備考
デスクトップPC（RTX 3090）0.21 tok/s—
ミニPC（EVO-X2）0.55 tok/sデスクトップPCの約2.6倍
ミニPC（調整後）0.76 tok/s-ncmoe 50＋起動する専門家を絞った場合

0.2〜0.76 tok/s は、1文を書かせるのに数分かかる速さです。実用にはなりません。それでも分かったことがあります。巨大なモデルを無理やり動かすときに問題になるのは「起動できるかどうか」ではなく、「生成がどれだけ遅くなるか」のほうでした。そしてその速度は、速いメモリの量とSSDの速さに素直に比例していました。デスクトップPCとミニPCで 2.6倍の差がついたのは、メモリ容量とSSD速度の差がそのまま出た結果だと考えられます。

ハードを選ぶときに何を見るか

今回の測定から言えることを、目的別に整理しました。

やりたいこと向く構成
100B級のモデルを実際に使いたい大容量のユニファイドメモリを積んだミニPC。86GB程度までなら実用速度で動き、235BのMoEモデルでも 20 tok/s 前後が出ます
24GBのグラフィックボード1枚で使いたい30B級までが快適な範囲です。それ以上は「動くには動く」という水準にとどまります
とにかく大きいモデルを試したいモデルがディスクにあふれる領域では、GPUの計算性能より、速いメモリの量とSSDの速さのほうが効きます

大容量メモリの機体そのものの比較については、大容量メモリでローカルLLMを動かすなら？にまとめてあります。

まとめ

大きなモデルが動かないとき、原因がハードウェアの力不足とは限りませんでした。今回の場合、73GB以上のモデルが止まっていた理由は読み込み方式の設定にあり、切り替えるだけで 86GB のモデルが 19.9 tok/s で動きました。

745B のほうは、動いたという事実だけが残る結果でした。ただ、無理やり動かしてみると、どこが本当のボトルネックなのかが見えてきます。速いメモリの量とSSDの速さが効くという傾向は、もっと現実的な構成を選ぶときの判断材料にもなりそうです。

数値はいずれも 2026年7月時点の実測で、量子化の種類やドライバ、冷却の状態によって変わります。

参考にしたサイト

検証に使用した機材

[kimono_product id="16082″]

[kimono_product id="16559″]

ローカルAI,実測