Muse Glimmer 30B は ollama では読めなかった〜llama.cpp で動かして測った

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

Muse Glimmer 30B という新しいモデルが、Hugging Face（AIモデルの配布サイト）に公開されています。ライセンスは Apache-2.0 で、量子化したファイルは約16.8GBです。VRAM 24GB の RTX 3090 に載りそうなので、実際に動かしてみました。

ところが、いつもの ollama では読み込みに失敗しました。同じ配布元・同じ Q4_K_M の量子化のファイルが、別のソフトでは動いたのです。動かすソフトの違いで、何が変わるのでしょうか？

2026年10月16日時点の内容です。

目的〜何を測った記事か

この記事で確かめたのは、次の2つです。

  • 読み込めるか: 同じ GGUF ファイル（ローカル用のモデル形式）を、ollama 0.30.5 と llama.cpp build 10941 で読み込めるか
  • 速さ: 読み込めたソフトで、入力を読む速さ（入力処理）と答えを書く速さ（生成）が毎秒何トークンか

測っていないものもあります。日本語の品質、正確さ、画像を読ませたときの動きは、この記事の範囲外です。詳しくは「限界〜測っていないこと」に書きました。

読み終えたときに、「3090 でこのモデルを動かす目安」と「ファイルが読めない原因の見分け方」の2つを持ち帰れることを目的にしています。

前提知識〜用語の説明

専門用語が続くため、先に整理します。

  • トークン: AIが文章を処理するときの単位です。文字数とは一致せず、単語や文字の断片を1トークンと数えます
  • tok/s（トークン毎秒）: 1秒あたりに処理するトークン数です。大きいほど速く、本文の速度はすべてこの単位です
  • 入力処理（pp512）と生成（tg128）: AIはまず質問を読み込み（入力処理、プリフィル）、その後で答えを1トークンずつ書きます（生成）。pp512 は512トークンを読む速さ、tg128 は128トークンを書く速さです。どちらも単位は tok/s です
  • VRAM: GPUに付いている専用メモリです。モデルがすべてここに載れば、GPUだけで動かせます
  • 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。Q4_K_M は約4ビット級に縮める形式の1つです
  • GGUF: llama.cpp 系のソフトが読むモデルのファイル形式です。ファイルの中に「このモデルの設計の名前（アーキテクチャ名）」が書かれています
  • llama.cpp と ollama: どちらもローカルでAIを動かすソフトです。ollama は内部で llama.cpp 系の仕組みを使っていると理解していますが（未確認）、版（バージョン）によって対応する設計の一覧が違います
  • dense（密）モデル: 質問のたびにモデル全体を使う作りです。必要な部分だけ使う MoE とは対になる言葉です

Muse Glimmer とは〜歴史と作りの蘊蓄

測定の前に、このモデルの出自を整理します。ここは Hugging Face 上の公開情報（モデルカード、設定ファイル）にあたって確認した内容で、出典は記事末にまとめました。

公開元と公開時期

公開元は、Hugging Face 上の組織「meta-models」です。Hugging Face の表示名は「Meta Inc.」（認証済み）、モデルカードの著者欄は「Meta Superintelligence Lab」です。リポジトリの作成日は2026年8月9日、カードには「2026年8月公開」とあります。リポジトリの作成日は公開日と一致するとは限りませんが、時期の目安です。ライセンスは Apache-2.0 です。

同じ組織には、2026年9月15日に作られた Muse-Spark-Open-816B-A42B（合計8,160億パラメータのうち、1回に使うのが420億という MoE 形式のモデル）もあります。ただし、このモデルと Glimmer の関係は、カードからは読み取れませんでした。

名前と系譜

モデルカードは、Muse Glimmer を「Muse Spark から蒸留した（distilled from Muse Spark）」モデルと説明しています。蒸留とは、大きなモデルの出力を手本にして、小さなモデルを育てる方法です。目的は、消費者向けのハードで動く自律型エージェント（道具を呼び出しながら作業を進めるAI）とされています。

「Muse」「Glimmer」という名前の由来は、確認できていません。Muse Spark の公開時期や規模も、今回の調査では確認できませんでした。

中身の作り〜3対1の注意機構

モデルカードと設定ファイルによると、Muse Glimmer は dense の因果トランスフォーマー（前の言葉から次の言葉を予測する形式）で、52層あります。注意機構は、「ローカル3層、グローバル1層」のくり返しです。ローカルは直近の2,048トークンだけを見る層、グローバルは文章全体を見る層で、52層のうち39層がローカル、13層がグローバルです。

文章が長くなるほど、グローバルな注意機構は記憶（KVキャッシュ）を多く必要とします。この作りでは、全体を見る層が13層だけです。KVヘッドの数も2と少なく（質問側の32に対して16分の1）、長い文章でも記憶が小さく済む設計と読めます。ただし、その効果を数字で確かめてはいません。

このほかカードには、画像を読む専用のエンコーダ（約1.8Bのパラメータ、50層）が付いていること、文章の長さは131,072トークン以上まで扱えること、語彙は202,048であることが書かれています。総パラメータはカードで約29.6B、GGUF のメタ情報では27.85Bです。この差は画像エンコーダの分に近いと推測していますが、カードには書かれていません。

もう1つの特色が、推測的デコードです。小さな下書き役（drafter）が16トークンをまとめて予想し、本体が一括で検算して、合っていれば採用します。カードは RTX 5090 で毎秒74.9トークンが233.4トークンになった（3.1倍）と公表していますが、これは開発元の自社値です。今回の測定では下書き役を使っていません。

外部の評価〜Artificial Analysis の指数

第三者の評価として、Artificial Analysis（AI性能の比較サイト）の Intelligence Index があります。同サイトの X 投稿のグラフ（Intelligence Index v4.3.2）では、Muse Glimmer の棒に17と印字されています。これは Artificial Analysis が出した数字で、当ブログの測定ではありません。正確な値は元の投稿でご確認ください。

方法〜どう測ったか

使ったのは、Ubuntu を入れた1台の機体です。GPU は RTX 3090（VRAM 24GB）のみで、ソフトは次の2つを比べました。

  • ollama 0.30.5: 読み込めるかどうかの確認に使いました
  • llama.cpp build 10941（commit 4a8993735、Vulkan 版）: 速さの測定に使いました

モデルは meta-models/Muse-Glimmer-30B-GGUF の Muse-Glimmer-30B-KQuant-17GB-Q4_K_M.gguf（15.59GiB、27.85B の dense）です。画像用の mmproj ファイルと下書き役は使わず、文章だけで測りました。

項目内容
GPURTX 3090（VRAM 24GB）
OSUbuntu
実行ソフトllama.cpp build 10941（Vulkan）
モデルMuse Glimmer 30B（Q4_K_M、15.59GiB）
測定日2026年10月16日
  • llama-bench を使い、-ngl 99（全層をGPUに載せる）、-p 512（入力処理は512トークン）、-n 128（生成は128トークン）、-r 5（5回繰り返す）で測りました
  • 5回のうち、真ん中の3点の中央値を採りました。両端の2回を除いて、ぶれの影響を減らすためです
  • 比較用に、同じ llama.cpp b10941 と同じ条件で、Qwen3.8 27B（UD-Q4_K_M、16.5GB）も測りました。モデルの大きさも量子化の形式も違うため、参考値としてだけ並べます

結果

ollama では読めず、llama.cpp では読めた

ollama 0.30.5 でこの GGUF を読み込むと、unknown model architecture: muse-glimmer というエラーが出て、HTTP 500 で失敗しました。画像用ファイルの読み込みも失敗しました。

同じ配布元・同じ Q4_K_M の量子化（ollama 側は16.8GB表記、llama.cpp 側は15.59GiB表記）のファイルは、llama.cpp build 10941 では読み込めました。GGUF のカードには、「llama.cpp の b10353 以上が必要で、b10344 以前は設計の名前が登録されておらず読めない」と書かれています。b10941 はこの条件を満たす版です。一方、ollama 0.30.5 がどの時点の llama.cpp 系の部分を持っているかは、今回は調べていません。

速さ〜RTX 3090・llama.cpp b10941

次の表の Qwen3.8 27B の行は、同じソフト・同じ条件の参考値で、モデルの大きさと量子化が違うため優劣ではありません。

モデル（ファイル）入力処理 pp512[tok/s]生成 tg128[tok/s]VRAM[GB]最高温度[℃]
Muse Glimmer 30B（Q4_K_M、15.59GiB、27.85B）1,339.06（幅7.49）42.29（幅0.12）16.972
Qwen3.8 27B（UD-Q4_K_M、16.5GB）※参考値1,119.98（幅9.19）36.23（幅0.11）未記録未記録

Muse Glimmer の入力処理は1,339.06 tok/s、生成は42.29 tok/s でした。VRAM の使用量は16.9GB、測定中の最高温度は72℃です。24GB の VRAM のうち、約7GB が空いていました。

Qwen3.8 27B の行は、同じソフト、同じ条件の参考値です。モデルの大きさも量子化の形式も違うので、どちらが優れているかを示す表ではありません。なお、最初に6回で測ったときは、生成の値に34〜38 tok/s の外れ値が混ざりました。中央3点を採る規則で吸収していますが、条件によって値が動くことは覚えておいてください。

考察

今回の最大の発見は、速さの数字より前にあります。同じ GGUF ファイルでも、動かすソフトの版が、そのモデルの設計の名前（muse-glimmer）を知っているかどうかで、読めるか読めないかが決まりました。ollama 0.30.5 では読めず、llama.cpp b10941 では読めたことが、その実例です。

新しい設計のモデルが出た直後は、ファイルが公開されていても、手元のソフトが追いついていないことがあります。エラーの文面に「unknown model architecture」と出たら、ファイルの破損や VRAM 不足を疑う前に、ソフトの版を確認するのが近道です。

速さについては、生成が毎秒約42トークンという値は、128トークンなら約3秒の計算です。ただし、これは1回の質問を1つだけ流した場合の値で、複数の質問を同時にさばいたときは測っていません。

同じ条件の Qwen3.8 27B と並べると、Muse Glimmer の数字のほうが大きく出ました。しかし、ファイルの大きさ、量子化の形式、設計が違うので、この差の理由を絞り込むことはできません。3対1の注意機構が関係している可能性はありますが、今回は確かめていません。

限界〜測っていないこと

  • 日本語の品質と精度: 文章の出来、正答率、幻覚の多さは測っていません。速さと、答えの良し悪しは別の話です
  • 画像入力: 画像用の mmproj ファイルは使っておらず、画像を読ませる動きは測っていません
  • 推測的デコード: 下書き役を使っておらず、カードの高速化の数字（3.1倍など）は追試していません
  • ollama の数字: 読み込めなかったため、速さの数字はありません。ollama の新しい版で読めるかどうかも確かめていません
  • 長い入力: 入力処理は512トークン、生成は128トークンの条件だけです。数万トークンの文章は測っていません
  • モデル間の比較: Qwen3.8 27B との並びは参考値で、大きさと量子化が違うため優劣は判断できません
  • 測定の回数: 各条件5回で、測定日は2026年10月16日の1日だけです。別の日、別のビルドでは値が動くことがあります
  • Intelligence Index の17: Artificial Analysis が出した数字で、当ブログでは検証していません（日本語の出来や精度は測っていません）

まとめ〜読めるかは、ソフトの版で決まる

  • 同じ GGUF でも、ollama 0.30.5 では「unknown model architecture: muse-glimmer」で読めず、llama.cpp build 10941 では読めた
  • RTX 3090（VRAM 24GB）で、Muse Glimmer 30B の Q4_K_M（15.59GiB）は全層が載り、VRAM は16.9GB、最高温度は72℃だった
  • 入力処理は1,339.06 tok/s（pp512）、生成は42.29 tok/s（tg128）だった
  • 同一ソフト・同条件の参考値として Qwen3.8 27B（UD-Q4_K_M）は、入力処理1,119.98 tok/s、生成36.23 tok/s。大きさと量子化が違うため、優劣は示していない
  • 日本語の品質、精度、画像入力は測っていない

新しいモデルを試すときは、ファイルの前に、手元のソフトが対応しているかを確かめてみてはいかがでしょうか。

次に、日本語での受け答えの出来など、速さ以外の面も測れたら、当ブログのローカルLLMの記事で追っていきます。

参考

  • Muse Glimmer 30B モデルカード（README・config.json）: https://huggingface.co/meta-models/Muse-Glimmer-30B
  • リポジトリ情報（作成日・ライセンス）: https://huggingface.co/api/models/meta-models/Muse-Glimmer-30B
  • GGUF 版（ファイル一覧・必要な llama.cpp の版）: https://huggingface.co/meta-models/Muse-Glimmer-30B-GGUF
  • 組織情報: https://huggingface.co/api/organizations/meta-models/overview ／ 公開モデル一覧: https://huggingface.co/api/models?author=meta-models
  • Qwen3.8-27B 量子化ファイル（参考値）: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
  • Artificial Analysis の X 投稿（Intelligence Index のグラフ）: https://x.com/artificialanlys/status/2110760441240752399
  • 上記の Hugging Face の情報は、2026年10月16日に取得しました

この記事で使った機材

GMKtec EVO-X2 (Ryzen AI Max+ 395 / 128GB / 2TB)A8限定クーポン「A82608」で5,000円OFF（2026/10/31まで）

¥614,999 Amazon（API取得）・2026-10-21 04:30調べ¥724,586 楽天市場・2026-10-21調べ

公式サイトのみ ¥5,000引きクーポン配布中　クーポンコード A82608（2026-10-31まで）
Amazon楽天市場Yahoo!公式サイト

モデル,ローカルAI