ローカルLLMの”待ち時間”を3台で実測した〜起動が遅い正体はSSD、そしてメモリの壁

2026年7月15日

ローカルLLM（LLM: 大規模言語モデル。自分のパソコンで動かす、ChatGPTのような文章生成AI）の速さというと、たいてい「1秒あたり何トークン生成できるか」の話が中心です。ただ、実際に使ってみると、生成が始まる前の「待ち」のほうが気になる場面は多いものです。とくに大きなモデルは、動き出すまでにやたらと待たされる。その待ち時間の正体を確かめたくて、手元の3台で、ユーザーが実際に待つ時間をひととおり測ってみました。（3台での実機計測・2026年7月時点）

測ったのは「生成速度」ではなく、待たされる時間ぜんぶ

今回そろえた物差しは、次の4つです。いずれもモデルへの一回の問い合わせから、まとめて取り出せます。

• 初回ロード時間（コールド）。電源を入れた直後のように、モデルがまだメモリに読み込まれていない状態から、使えるようになるまで。ディスクから読み出す時間です。
• 2回目のロード時間（ウォーム）。一度読み込んだあと、もう一度呼び出したときの時間。多くはメモリ上のキャッシュ（一度読んだデータを一時的に速い場所へ置いておく仕組み）から復帰します。
• 最初の一文字が出るまで（TTFT）。質問を送ってから、返事の一文字目が表示されるまでの体感の待ち。
• 生成速度（デコード）。文章を書き進める速さ。いわゆる「1秒あたり何トークン」です。

3台の顔ぶれは、専用GPUのデスクトップ（GeForce RTX 3090 24GB＋GeForce RTX 3060 12GB・システムメモリ62GB）、大容量ユニファイドメモリのミニPCであるGMKtec EVO-X2（以下、EVO-X2。統合メモリ122GB）、そして小型のApple Mac mini（M4・24GB）です。同じ条件（温度ゼロ・同じプロンプト）で、8B（約5GB）から2350億パラメータ（約86GB）まで、大きさを振って測りました。

分かったこと①：起動の遅さは、モデルの大きさに比例する

まず専用GPUのデスクトップで、初回ロードを測った結果です。

2回目（ウォーム）は、どのモデルもほぼ一瞬です。キャッシュから復帰するので、大きさはほとんど関係ありません。問題は初回のほう。並べてみると、途中まではきれいに「データ量が増えるほど、比例して時間が延びる」形になっています。実際、8Bから70Bまでを直線に当てはめると、ロード時間 ≒ 約1.6秒（起動の固定費）＋ データ量 ÷ 約4GB/秒、という式でよく説明できました。この「1秒あたり約4GB」は、このパソコンのSSDが実際にデータを読み出す速さそのものです。初回の待ちは、大部分がSSDからモデルを読み込む時間でした。起動の遅さの正体は、SSDの読み出し速度だったわけです。

分かったこと②：メモリに載り切らないと、時間が跳ね上がる

ところが、表の下2行は式から大きく外れます。120Bは予測18秒に対して実測88秒、235Bは予測23秒に対して実測107秒。どちらも4〜5倍も遅い。境目は、はっきりしています。このデスクトップのシステムメモリは62GB。それを超える65GB・86GBのモデルで、時間が跳ね上がりました。

メモリに全部を置けないと、読み込みながら一部をあふれさせる（スピル）状態になり、単純なSSDの読み出しでは済まなくなります。ここからは、SSDの速さとは別の第2の壁が待ち時間を支配していました。

大容量メモリ機だと、同じ大型でも起動が4倍速い

ここで、大容量ユニファイドメモリのEVO-X2（統合122GB）に、まったく同じモデルを載せてみます。狙いは、メモリが倍あれば、120Bや235Bも「収まる側」に留まるはずだ、という予想の確認です。

予想どおりでした。EVO-X2では、120Bも235Bも122GBのメモリに収まるので、あの第2の壁に落ちません。6モデルすべてが、ふたたび一本の直線（SSDの読み出し速度で決まる素直な比例）に乗りました。結果として、120Bで4.1倍、235Bで3.9倍、初回ロードが速い。中型（70B）ではデスクトップのほうがやや速いのですが、これは専用GPUの起動が絡む差で、巨大モデルになるほどメモリ容量の差がものを言いました。

待ち時間だけではありません。生成速度そのものも、大型では差が開きます。gpt-oss 120Bはデスクトップの毎秒17.5トークンに対しEVO-X2は36.7トークン、235Bは6.0に対し19.6。メモリにあふれず全部を載せられることが、読み込みでも生成でも効いていました。大容量ユニファイドメモリの価値は、「大きなモデルが載る」ことだけでなく、「載せたときに初回ロードが破綻せず、生成も落ちない」ことにある――測ってみて、そこがはっきりしました。

▼ 今回検証したEVO-X2（Amazon・楽天で価格を確認）

[kimono_product id="16082″]

2回目以降は一瞬。遅いのは「久しぶりの1回目」だけ

ここまで初回の話をしてきましたが、救いもあります。一度読み込んでしまえば、2回目以降のロードはどのモデルも1秒未満。メモリのキャッシュが効くからです。本当に待たされるのは、その日の最初の一回や、しばらく使わずにモデルがメモリから追い出されたあとの再呼び出しだけ。裏を返せば、モデルを常駐させておく（一定時間メモリに保持する設定にする）だけで、日常の待ち時間はぐっと減らせます。巨大モデルを使うなら、こまめに読み直させない運用が、そのまま体感の速さにつながります。

結論：待ち時間で選ぶなら

測った結果を、選び方に落とすと次のとおりです。中小のモデル（メモリに余裕で収まるサイズ）が主なら、初回でも数秒。専用GPUのデスクトップが素直に速く、快適です。一方で、100B級・200B級の巨大モデルを日常的に動かすなら、メモリ容量が待ち時間を左右します。システムメモリを超えた瞬間、初回ロードは数十秒から2分近くへ跳ね上がる。大容量ユニファイドメモリのミニPCなら、その巨大モデルでも初回30秒前後に収まり、生成も速いままでした。「大きなモデルを、待たされずに使いたい」なら、メモリ容量こそ最初に見るべき数字だと言えます。

測り方と、正直な但し書き

各条件は5回測って中央値を採りました。初回（コールド）は、計測のたびにモデルのデータをメモリのキャッシュから追い出し、SSDから読み直させています（Linuxの2台はファイル単位でキャッシュを破棄する方法を使用）。ただし、いくつか正直に断っておくべき点があります。

• ある1本（Gemma系の高精度量子化・34GB）だけ、サイズのわりに初回32秒と極端に遅く、直線から外れました。CPU側へのあふれ方の癖と見ていますが、原因は完全には詰め切れていません。表の傾向はこの1本を除いた話として読んでください。
• Mac miniはメモリ24GBのため、大きなモデルは載らず小型のみの計測です。また、キャッシュ破棄の手段がLinuxと異なるため、Macの「初回」は再読み込みベースの近似値で、他2台と厳密には同じ土俵ではありません。参考値として扱っています。
• プロンプトの長さを変えて最初の一文字までの時間がどう伸びるかも狙ったのですが、今回は入力を十分に長くできず、確かな数字になりませんでした。ここは次回の宿題です。

物差し自体を疑うところまで含めて、実測だと思っています。数字は当方の3台での結果で、SSDやメモリの構成が違えば値は変わります。あくまで「初回の待ちはSSDとメモリ容量で決まる」という傾向の話として、参考にしていただければ。

※計測環境：デスクトップ（GeForce RTX 3090 24GB＋GeForce RTX 3060 12GB／システムメモリ62GB／NVMe SSD）、GMKtec EVO-X2（AMD Ryzen AI Max+ 395／統合メモリ122GB）、Apple Mac mini（M4／24GB）。推論エンジンはOllama。条件は温度0・同一プロンプト・各5回の中央値。2026年7月時点。