ローカルLLMの機材選びQ&A〜よくある6つの質問に実測で答える
自宅のPCでローカルLLMを動かす人向けに、よく聞かれる質問へ短く答え、根拠の実測記事へ案内します。数字は当ブログが自分の機材で測ったものです。実測できないものは各記事に「調査」と明記しています。
よくある質問と、当ブログの実測での答え
ローカルLLMを動かすなら、まず何を決めればいい?
動かしたいモデルのファイルの大きさ(Q4_K_M の値)を先に決めます。必要なVRAMは「ファイルの大きさ+1〜2GiB」が目安で、長い資料を読ませるならさらに2〜8GiB見込みます。当ブログの選び方チェックリストと実測表は、モデル選びの5つの軸の記事にまとめています。
VRAM 8GBで動くLLMは?
6GiB前後までのファイル(4B〜9B級)が目安です。当ブログでは必要メモリ別に22本を同じ機材で測り、載るか・速いか・賢いかを並べました。
ローカルLLM用のミニPCはどれを選べばいい?
30B級までならGPUのVRAM、70B〜235B級ならメモリ128GB級の統合メモリ機が候補です。速さはメモリ帯域に強く左右されます。当ブログはGMKtec EVO-X2(128GB)を実機で使い、RTX機・Macと測り比べました。
- ローカルAIの速度はメモリ帯域で決まる〜RTX・Macと測り比べた
- ローカルAIに何を買うか〜ミニPC・専用GPU・Macの使い分けと元の取り方
- 大容量メモリでローカルLLMを動かすなら?〜EVO-X2・Mac Studio・DGX Spark比較
ミニPCに外付けGPUはつなげる?
つなげますが、つなぎ方で速さが大きく変わります。当ブログではOCuLinkとThunderboltを同じGPUで測り比べ、つなぎ方を変えて36倍になった例を記録しています。Thunderboltでは動かなかった組み合わせもあります。
- 外付けGPUはOCuLinkとThunderboltのどちらで繋ぐ? 同じGPUで測り比べた
- 外付けGPUが内蔵の25分の1しか出ない〜つなぎ方を変えたら36倍に
- 外付けGPUがThunderboltで動かない? 3世代のGPUで検証
Intel Arc B580でローカルLLMは動く?
動きます。ドライバ(Mesa)の更新で速さが約3倍になった実測と、12GBに収まるモデルの速度・消費電力、収まったのに遅くなる条件を連載で記録しています。