ローカルLLMの機材選びQ&A〜よくある6つの質問に実測で答える

本ページは広告(アフィリエイトプログラム)を含みます。詳しくはプライバシーポリシーをご覧ください。

自宅のPCでローカルLLMを動かす人向けに、よく聞かれる質問へ短く答え、根拠の実測記事へ案内します。数字は当ブログが自分の機材で測ったものです。実測できないものは各記事に「調査」と明記しています。

よくある質問と、当ブログの実測での答え

ローカルLLMを動かすなら、まず何を決めればいい?

動かしたいモデルのファイルの大きさ(Q4_K_M の値)を先に決めます。必要なVRAMは「ファイルの大きさ+1〜2GiB」が目安で、長い資料を読ませるならさらに2〜8GiB見込みます。当ブログの選び方チェックリストと実測表は、モデル選びの5つの軸の記事にまとめています。

VRAM 8GBで動くLLMは?

6GiB前後までのファイル(4B〜9B級)が目安です。当ブログでは必要メモリ別に22本を同じ機材で測り、載るか・速いか・賢いかを並べました。

ローカルLLM用のミニPCはどれを選べばいい?

30B級までならGPUのVRAM、70B〜235B級ならメモリ128GB級の統合メモリ機が候補です。速さはメモリ帯域に強く左右されます。当ブログはGMKtec EVO-X2(128GB)を実機で使い、RTX機・Macと測り比べました。

ミニPCに外付けGPUはつなげる?

つなげますが、つなぎ方で速さが大きく変わります。当ブログではOCuLinkとThunderboltを同じGPUで測り比べ、つなぎ方を変えて36倍になった例を記録しています。Thunderboltでは動かなかった組み合わせもあります。

Intel Arc B580でローカルLLMは動く?

動きます。ドライバ(Mesa)の更新で速さが約3倍になった実測と、12GBに収まるモデルの速度・消費電力、収まったのに遅くなる条件を連載で記録しています。