llama.cppだけで始められる？〜Ollamaなしで会話するまでをRTX 3090で測った

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

ローカルAI（自分のPCで動かす生成AI）を始めるとき、多くの解説は Ollama（オラマ）から入ります。では、Ollama を使わずに、llama.cpp（ラマ・シーピーピー）だけで始めることはできるのでしょうか？ 何が違って、どちらが速いのでしょうか？

結論から書くと、始められます。公式の手順では、インストールは1行のコマンドで済みます。モデルも、Hugging Face（AIモデルの配布サイト）の名前を指定する1行のコマンドで、ダウンロードから会話まで進みます。10月17日には、ブラウザの画面からモデルを探して入れる機能も公式に取り込まれました。ただし、この機能は既定ではオフです。

本記事では、llama.cpp の公式の説明（GitHub の README、リリース、取り込まれた変更）を読み、RTX 3090 を積んだ Ubuntu のPCで、導入から最初の返事までを試しました。同じモデルで、Ollama との速さも比べています。2026年10月31日に公式の情報を確かめた内容で、実測は 2026年11月1日、ビルド番号 b12019（commit 1052f7e1d）です です。

Ollama で入れたモデルを llama.cpp で読もうとして失敗した話は、Ollama で入れたモデルが llama.cpp で読めない？にまとめています。最初に入れるモデル選びは、ローカルLLM おすすめモデル 2026を参考にしてください。

スポンサーリンク

llama.cpp と Ollama は何が違うのか

llama.cpp は、GGUF（ローカルAI用に圧縮されたモデルのファイル形式）を動かす推論エンジン（モデルに文章を書かせるソフト）です。NVIDIA の GPU は CUDA、AMD は HIP、Intel は SYCL、Apple Silicon は Metal、そのほか Vulkan に対応していると、README に書かれています。

Ollama は、モデルの入手・管理・起動をまとめて扱える道具です。一番の違いは、モデルの入手先です。Ollama は自分のモデル置き場から ollama pull で取ります。llama.cpp は、Hugging Face に置かれた GGUF を直接取ります。このため、Hugging Face に新しいモデルが出た日に、そのまま試せるのが llama.cpp の強みです。

項目 llama.cpp Ollama
入れ方 公式のインストール用コマンド、brew・winget などのパッケージ、配布版（ビルド済みのファイル）、ソースから作る 公式のインストーラー
モデルの入手先 Hugging Face の GGUF（-hf で指定） Ollama のモデル置き場（ollama pull）
モデルの置き場所 キャッシュ（環境変数 LLAMA_CACHE で変えられる） Linux は /usr/share/ollama/.ollama/models
APIの既定のポート 9931（llama serve） 11434
ブラウザの画面 あり（llama serve に内蔵） 公式の内蔵画面は今回確かめていません【未確認】

ポートは、ほかのアプリがAIを呼び出すときの窓口の番号です。どちらも OpenAI と同じ形式のAPIで呼べるため、窓口の番号を変えれば、つなぐ側のアプリはそのまま使える場合があります。

スポンサーリンク

入れ方〜コマンド1行か、配布版か

README の最初に載っている入れ方は、公式のインストール用コマンドです。macOS と Linux は次の1行、Windows は PowerShell（Windows のコマンド画面）で別の1行を打ちます。

curl -LsSf https://llama.app/install.sh | sh

このほか、公式のインストール手順書（install.md）には、Homebrew の brew install llama.cpp、Windows の winget install llama.cpp、Nix、MacPorts が載っています。

GitHub のリリースには、ビルド済みのファイルが毎日のように出ています。10月31日時点の最新は b12020 で、Ubuntu 向けには CUDA 13.4 版と CUDA 12.8 版、Vulkan 版などが並んでいました。RTX 3090 では、ドライバーが対応する CUDA の版を選びます。インストール用コマンドで入れたときに、CUDA 版が自動で選ばれるかを、実機で確かめました。なお、このコマンドが入れたのは b12019 で、リリース一覧の最新（b12020）より1つ前でした。実機（Ubuntu・RTX 3090）では、インストール用コマンドが CUDA の判定で「86」（RTX 30 シリーズの世代）を見つけ、b12019 の CUDA 版を入れました。モデルを動かすと、nvidia-smi に llama のプロセスが約4,510MiBのVRAMを使う形で出たので、GPU が使われています。

なお、新しい版では、コマンドが llama 1つにまとまり、llama cli（会話）と llama serve（サーバーと画面）のように使い分けます。古い解説にある llama-cli や llama-server は、ソースから作った場合などに残っている名前です。

導入にかかった時間は次のとおりです。

12.1秒でした（1回。ほかのアプリに影響しないよう、作業用の場所の中に入れています）。

スポンサーリンク

コマンド1行で、モデルを取って会話する

モデルは、-hf のあとに Hugging Face の置き場所の名前を書くだけで取れます。README の例は次の1行です。初回はダウンロードが始まり、終わるとそのまま会話が始まります。

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

名前のあとに :Q8_0 のように量子化（モデルを小さく圧縮する方法）の種類を付けて選べます。付けないときは Q4_K_M が選ばれると、サーバーの説明書に書かれています。GPU に何層を載せるか（-ngl）は既定で auto、会話の長さの上限（-c）は既定でモデルの設定に従うとされています。初心者は、まず何も付けずに試すのがよいと思います。

ブラウザで話したいときは、llama serve -hf … で起動します。説明書では、既定の窓口は 127.0.0.1 の 9931 番で、画面（Web UI）は既定で有効です。ブラウザで http://127.0.0.1:9931 を開くと会話の画面が出る、という流れです。画面は開きました。サーバーを起動した機械（Ubuntu）の 127.0.0.1:9931 に、別のPCのブラウザから SSH のポート転送でつなぎ、会話画面（llama-ui）が表示されることを確かめています。

RTX 3090 で、コマンドを打ってから最初の返事が出るまでを測りました。

ダウンロードは19.2秒（1回）、ファイルは Qwen3.5-0.8B-Q8_0.gguf で833,592,096バイト（約0.83GB）でした。このモデルは量子化の種類が Q8_0 のみで、名前だけで Q8_0 が選ばれました。読み込みは約1.2秒、サーバーを起動してから応答できるまでは中央値1.71秒、最初の文字が出るまでは中央値1.75秒でした（起動からの5回は1.71〜1.79秒。ダウンロード済みの状態）。

スポンサーリンク

画面でモデルを探す〜Discover Models

10月17日に、「Discover Models（モデルを探す）」という画面が、llama.cpp の本体に取り込まれました（変更番号 #29584）。説明によると、次のことができます。

  • おすすめの一覧を眺める、名前で探す、サイズの範囲で絞り込む
  • 量子化の種類ごとに、手元のメモリに収まるかの目安を見る
  • ダウンロードを始める・一時停止する・再開する・取り消す
  • 同じ操作をするコマンドをコピーする

注意点は、設定の「Enable Discover Models」が既定でオフなことです。使うには、画面の設定で先にオンにします。設定の「Enable Discover Models」は、画面の設定（General）にありました。ただし、説明に「Only available in router mode（ルーターモードでのみ使える）」とあり、llama serve -hf … のようにモデルを指定した起動では、ボタンは出ません。モデルを指定せず llama serve だけで起動すると（ルーターモード）、オンにした後、モデル一覧に「Discover Models」ボタンが出ました。開くと、おすすめ37件が並び、名前で探す検索も動きました。モデルを実際に入れる操作は、第三者が置いたファイルを入れることになるため、今回は試していません【未確認】。

コマンドを打たずにモデルを入れたい人には、うれしい変更です。ただ、取り込まれてまだ数週間で、細かい修正が続いています。動きが記事と違う場合は、コマンドの -hf で入れる方法が確実です。

スポンサーリンク

Ollama と速さを比べる

同じモデル・同じ量子化を、llama.cpp と Ollama で動かし、書く速さを比べました。測り方は、約860トークンの文章を読ませて最大256トークンを書かせる問い（温度0）を、毎回先頭を変えて（前の結果の再利用を避けるため）6回投げ、1回目（読み込みを含む）を除いた5回のうち、上下の外れを1つずつ落とした中央3点の中央値です。速さは、llama.cpp は画面のAPI（/v1/chat/completions）、Ollama は /api/generate が返す値から出しました。

項目 llama.cpp Ollama
使ったモデル・量子化 Qwen3.5-0.8B・Q8_0（ggml-org の GGUF）
版 b12019 0.30.5
読む速さ（トークン/秒） 19,091 18,088
書く速さ（トークン/秒） 406.0 235.0
使ったVRAM 約4,525MiB（会話の長さの既定が262,144トークン） 約1,645MiB（既定が32,768トークン）

読む速さは両者とも毎秒約1.8〜1.9万トークンでほぼ同じ（差は約5%）、書く速さは llama.cpp が約1.7倍でした。VRAM の差は会話の長さの既定値の違いが大きく、llama.cpp を -c 32768 にそろえると約1,613MiBで、書く速さは405.1トークン/秒のままでした。書く速さの差の理由は、今回は確かめていません【未確認】。測ったのは小さい0.8Bモデル1種類・RTX 3090 1枚だけで、大きなモデルで同じ差になるとは限りません。

速さは、設定の既定値でも変わります。たとえば、会話の長さの上限や、GPU に載せる層の数の既定が、2つのソフトで同じとは限りません。今回は、どちらも既定のまま比べています（llama.cpp は会話の長さが262,144トークン、Ollama は32,768トークンでした）。

スポンサーリンク

まとめ

分かったことは次のとおりです。

  • llama.cpp だけで、インストールからモデルの入手、会話まで進められる。公式の手順はどれもコマンド1行。
  • モデルは Hugging Face から -hf で直接取る。量子化を付けなければ Q4_K_M になる。
  • ブラウザの画面は llama serve に内蔵されていて、既定の窓口は 9931 番。
  • 画面からモデルを探す「Discover Models」は10月17日に取り込まれたが、既定ではオフで、モデルを指定せず起動したとき（ルーターモード）にだけ使える。
  • Ollama との速さの差は 今回の条件（0.8Bモデル・RTX 3090）では、読む速さは同じくらい、書く速さは llama.cpp が約1.7倍。

次は、同じ手順を Intel Arc B580 と Mac で試し、配布版の選び方がどう変わるかを調べます。

出典と、今回確かめていないこと

  • llama.cpp の README（GitHub ggml-org/llama.cpp）：https://github.com/ggml-org/llama.cpp（2026年10月31日確認）
  • llama.cpp のリリース一覧：https://github.com/ggml-org/llama.cpp/releases（2026年10月31日確認）
  • llama.cpp のインストール手順書：https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md（2026年10月31日確認）
  • llama.cpp のサーバーの説明書：https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md（2026年10月31日確認）
  • Discover Models の変更（#29584）：https://github.com/ggml-org/llama.cpp/pull/29584（2026年10月31日確認）
  • Hugging Face の llama.cpp の使い方：https://huggingface.co/docs/hub/gguf-llamacpp（2026年10月31日確認）
  • Ollama の FAQ（ポートとモデルの置き場所）：https://docs.ollama.com/faq（2026年10月31日確認）

次のことは、今回確かめていません。Ollama に公式の内蔵画面があるか【未確認】。Discover Models からのモデルの入手（ダウンロード）の操作は試していません。Windows と Mac での手順は、実機で試していません。

スポンサーリンク

次の一歩

モデル,ローカルAI