GLM-5.3-Flash（320B）は、ミニPCのEVO-X2でどれだけ速く書く？〜llama.cpp v0.7.0 で測った

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

Z.ai が公開した「GLM-5.3-Flash」（総パラメータ3,200億、1回に使うのは180億）の量子化版 UD-IQ1_S は、ファイルだけで93.1GBあります。このモデルを、ミニPC「EVO-X2」（Ryzen AI Max+ 395 搭載。メモリ128GB。内蔵GPUは Radeon 8060S）で、llama.cpp v0.7.0 を使って動かし、速さを測りました。1つ前の版の llama.cpp では読み込めなかったモデルです。新しい版なら読めて、どれくらいの速さで書くのでしょうか？

2026年10月17日時点の内容です。

スポンサーリンク

目的〜何を測った記事か

この記事で測ったのは、次の3つです。

  • 読み込めるか: 1つ前の版（b11192）で読めなかったモデルが、v0.7.0 で読めるか
  • 入力処理の速さ（pp512）: 512トークンの入力を読ませるとき、1秒あたり何トークン処理するか（読む側の速さ）
  • 生成の速さ（tg128）: 128トークンの文章を書かせるとき、1秒あたり何トークン出てくるか（書く側の速さ）

あわせて、使われたメモリの量も記録しました。答えの出来や正確さ、画像を入力したときの動き、長い入力での動きは測っていません。詳しくは「限界〜測っていないこと」に書きました。

読み終えたときに、「93.1GBの超低ビット量子化版は、メモリ128GBのミニPCに載り、毎秒約18トークンで書く」という目安が持てることを目的にしています。

スポンサーリンク

前提知識〜用語の説明

専門用語が続くため、先に整理します。

  • トークン: AIが文章を処理するときの単位です。文字数とは一致せず、単語や文字の断片を1トークンと数えます
  • tok/s（トークン毎秒）: 1秒あたりに処理するトークン数です。大きいほど速く、本文の速度はすべてこの単位です
  • llama.cpp: ローカルでAIを動かすためのソフトです。今回は v0.7.0（ビルド 620d222）と、1つ前に試した b11192 を使いました
  • llama-bench: llama.cpp に付いている測定用の道具です。入力512トークンの処理（pp512）と、128トークンの生成（tg128）を測ります
  • Vulkan: GPUを使うための仕組み（API）のひとつです。今回は Vulkan で Radeon 8060S を使いました
  • UMA（ユニファイドメモリ）: CPUとGPUが同じメモリを共有する作りです。EVO-X2 では専用のVRAM表示が出ず、メインメモリの使用量で見ます
  • 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。今回の UD-IQ1_S は、1つの値を約1.56ビットで持つ、とても粗い形式です
  • MoE（Mixture of Experts、専門家の混合）: モデルの中に多数の「エキスパート」と呼ばれる小さな部品を持ち、1トークンごとに一部だけを使う作りです。総パラメータが大きくても、1回の計算量は活性パラメータの分で済みます
  • 線形注意・疎注意: 文章が長くなっても計算量を増やしにくくするための、注意機構の工夫です。詳しくは次の節で触れます
スポンサーリンク

GLM-5.3-Flash とは〜歴史と作りの蘊蓄

測定の前に、このモデルがどこから来たのかを整理します。ここは Hugging Face（AIモデルの配布サイト）の公開情報で確認した内容で、出典は記事末にまとめました。

GLM シリーズの系譜

公開元は Z.ai（Hugging Face の組織名は zai-org）です。リポジトリは2026年8月25日に作られ、本体の GLM-5.3 と同じ日でした。Artificial Analysis（AA、AIモデルを第三者の立場で比べるサイト）などの記事の日付は8月26日です。

GLM という名前の出どころは、2021年3月に投稿された論文「GLM: General Language Model Pretraining with Autoregressive Blank Infilling」です。ただし、現行のシリーズが今もこの略称をそう説明しているかは、確認できませんでした。

「Flash」の名前の由来は、README・AA・解説記事のどれにも説明がなく、確認できませんでした。同じシリーズに GLM-4.7-Flash（2026年1月）と GLM-4.6V-Flash（2025年12月）という先例があります。

Hugging Face の作成日をたどると、シリーズは次のように進んできました。

モデル日付メモ
GLM-4.5 / 4.5-Air2025年7月20日MIT ライセンス
GLM-4.7-Flash2026年1月19日総300億・活性30億の小型枠
GLM-52026年2月11日総7,440億・活性400億
GLM-5.12026年4月3日–
GLM-5.22026年6月16日1M（100万）トークンの文脈
GLM-5.3 本体2026年8月25日独自ライセンス
GLM-5.3-Flash2026年8月25日総3,200億・活性180億。MIT ライセンス

ライセンスは、本体の GLM-5.3 が独自の「GLM-5.3 License」なのに対し、Flash は MIT です。MIT ライセンスは、条件を守れば自由に使え、改変し、配れる、代表的な緩いライセンスです。

公式の発表と重みの公開には、日のずれがありました。GLM-5.3 は8月14日に発表され、重みの公開は8月25日です。Flash は翌日の8月26日に話題になっています。

名前の読み方〜320B-A18B

「320B-A18B」は、総パラメータ320B（3,200億）のうち、1トークンごとに使うのが18B（180億）という意味です。使う割合は約5.6%です。使うのが180億でも、置いておく重みは3,200億分すべて必要です。

中身の作り〜線形注意と疎注意の混成

README は、Flash を「GLM-5 シリーズ初のネイティブ・マルチモーダルモデル」と説明しています。画像と文章の両方を入力できる作りです。また「新しく学習したベースモデルから始め、構成と学習方法を作り直した」と書いています。30兆トークンのマルチモーダルな学習データを使ったとされます。

設定ファイル（config.json）には、層の種類が書かれています。全45層のうち、線形注意の層が34層、DeepSeek 系の疎注意の層が11層です。疎注意は4層ごとに1層です。README は、疎注意と線形注意を混ぜた構成を GLM シリーズで初めて採り、長い文脈での計算の負担を下げつつ、長い文脈での精度を保つ狙いだと書いています。

MoE の部分は、ルーティングされるエキスパートが288個、1トークンで使うのが8個、全員が使う共有エキスパートが1個です。先頭の3層はMoEでない通常の層です。MTP（先の予測を同時に行う層）は1層あります。文脈の長さは、設定ファイルの最大位置が1,048,576トークン（1M）です。

README は、規模を大きくする効率を上げるために Manifold-Constrained Hyper-Connections（mHC）という仕組みを採用したとも書いています。仕組みの中身は確認できていません。設定ファイルの中の「kda」という項目名の意味と、モデル形式名 glm5_next の命名の意図も、資料に説明がなく、確認できませんでした。

前の世代の GLM-5 から GLM-5.2 は、78層・256個のエキスパートで、全層が疎注意でした。Flash は45層・288個で、混成の注意機構と画像を見る部品が加わっています。配布は FP8（8ビットの浮動小数）で、公式のファイルは328.3GBあります。GGUF 形式の公式配布は確認できず、今回使ったファイルは unsloth の配布物です。

公式が示す性能と、AAの値

モデルカードに付いたグラフに、開発元の評価値が印字されています。評価データのファイル（.eval_results）と値が一致した4項目の、Flash の値を引用します。並べている前の世代 GLM-5.2 の値は、グラフの印字を当ブログが目で読んだもので、評価データのファイルとの照合はできていません。

指標GLM-5.3-FlashGLM-5.2
Terminal Bench 2.184.381.0
DeepSWE v1.163.446.2
Agents’ Last Exam26.320.4
HLE（ツールあり）55.354.7

表の値は開発元の自社評価で、第三者の検証ではありません。README は「GLM-5.2 を全面的に上回る」と書いています。

AA の Intelligence Index（v4.3.2）は、AA のモデルページで42と表示されていました。同種の open-weight（重みの公開されたモデル）の中央値は19と書かれています。これは AA が出した数字で、グラフの棒でなくモデルページの表示値を引用しています。当ブログの測定ではありません。

スポンサーリンク

方法〜どう測ったか

測定した機体とソフト

機体は EVO-X2 です。Ryzen AI Max+ 395 を載せたミニPCで、メモリは128GBあります。内蔵GPUの Radeon 8060S を、Vulkan で使いました。環境変数 GGML_VK_VISIBLE_DEVICES で、8060S だけが見えるようにしています。ソフトは llama.cpp v0.7.0（ビルド 620d222）です。別の機体でビルドしたものを EVO-X2 にコピーして使いました。

測定の条件

項目内容
モデルunsloth の GLM-5.3-Flash-GGUF、UD-IQ1_S（3分割、合計93,077,724,536バイト＝93.1GB。1.5625ビット／値）
コマンドllama-bench -ngl 99 -p 512 -n 128 -r 5 -lm none
-ngl 99全部の層をGPUに載せる指定
-lm noneファイルを必要な分だけ読む方式（mmap）でなく、先にメモリへ読み込む指定
回数5回
集計5回を小さい順に並べ、中央の3点の中央値を採用

同じファイルを、1つ前の版の llama.cpp（ビルド b11192）でも試しています。測定日は、b11192 が2026年10月16日、v0.7.0 が10月17日です。

ollama の数字を同じ表に並べない理由

ollama は llama.cpp とは別のソフトで、読み込みの実装や測り方が違います。今回の数字は llama-bench の値なので、当ブログの ollama で測った記事の数字とは、同じ表で比べません。

スポンサーリンク

結果

1つ前の版では読めなかった

b11192 では、次のエラーが出て読み込めませんでした。

  • unknown model architecture: 'glm5-next'

このモデルは、構成の名前（アーキテクチャ名）が glm5-next です。b11192 が知っている名前は glm5 で、glm5-next は未対応でした。v0.7.0 では同じファイルが読め、測定できました。

速さ

回入力処理 pp512[tok/s]生成 tg128[tok/s]
1169.7318.41
2169.9318.44
3170.2418.46
4172.2718.54
5183.7118.57
中央3点の中央値170.24（幅2.34）18.46（幅約0.1）

入力処理は、5回の値が169.73〜183.71 tok/s で、5回目だけ高めに出ました。中央の3点（169.93・170.24・172.27 tok/s）の中央値は170.24 tok/s です。512トークンの入力なら、約3.0秒で読み終える計算です。

生成は18.41〜18.57 tok/s で、そろいました。中央値は18.46 tok/s です。128トークンなら約6.9秒で書き終わる計算です。表の値は小さい順に並べ替えてあり、測定した順ではありません。

メモリ

使われたメモリは、約92.8GBでした。EVO-X2 はCPUとGPUでメモリを共有するため、専用のVRAM表示は出ません。ファイルの大きさ93.1GBに近い量が、メインメモリ側に載った形です。

温度と消費電力は計測していません。

スポンサーリンク

考察

毎秒約18トークンという生成の速さは、1つの条件を5回測った値です。長い入力や複数の質問の同時利用では測っていません。

載り方の事実は、93.1GBのファイルが、メモリ128GBのミニPCで全層をGPUに割り当てる指定のまま動いたことです。メモリの使用量は約92.8GBで、128GBの範囲に収まりました。同じミニPCで大型のモデルを動かした例は、Hy3 の記事とgpt-oss-120b の記事にあります。ソフトや量子化の条件が違うため、速さの数字は並べて比べません。

ここで「1回に使うのが180億と少ないから、3,200億のモデルでも毎秒18トークン出る」という説明が思い浮かびます。使う割合は約5.6%（18B÷320B）で、1トークンあたりに読み出す重みが少ないためです。これは推測で、確かめていません。

入力処理の5回目の183.71 tok/s のような外れた値が、なぜ出たのかは確認できませんでした。中央3点を採る集計で、この値の影響は避けています。

1つ前の版で読めなかった理由は、エラーメッセージから「アーキテクチャ名 glm5-next への未対応」と読み取れます。v0.7.0 で対応が入ったと考えられますが、ソースの変更点そのものは、この記事では読んでいません。

限界〜測っていないこと

  • 答えの品質と精度: 文章の出来、正答率、幻覚の多さは測っていません。品質は未測定です。1.56ビット級の量子化で、元のモデルの精度がどれだけ残るかは、確かめていません
  • 画像の入力: Flash は画像も入力できるとされますが、今回はテキストだけで測りました。画像入力は未試験です
  • 1回の質問だけの値: llama-bench の1つの条件（入力512トークン・生成128トークン）を5回測った値です。長い入力、長い生成、複数の質問の同時利用の動きは測っていません。1M（100万）トークンまでとされる文脈長の動きも未確認です
  • 推論の強さの切替: README にある reasoning_effort の切替は試していません
  • 温度と消費電力: 計測していません
  • ollama の数字との比較: ollama は別のソフトです。ollama で測った数字とは、同じ表で比べていません
  • 量子化の違い: UD-IQ1_S だけで、他の量子化版（UD-IQ1_M、UD-IQ2_XXS など）との差は測っていません
  • 測定の日: 2026年10月17日の1日、この1台の機体、v0.7.0 の1つの版だけです。別の版や別の日には値が動くことがあります
  • 性能の数字: 表の評価値は開発元の自社評価です。Intelligence Index の42は、Artificial Analysis のモデルページの表示値（v4.3.2）で、当ブログでは検証していません
スポンサーリンク

まとめ〜EVO-X2で GLM-5.3-Flash を動かした結果

  • GLM-5.3-Flash（総320B・活性18B）の UD-IQ1_S（93.1GB）は、llama.cpp v0.7.0 で EVO-X2 の Radeon 8060S を指定して動いた
  • 1つ前の版の b11192 では「アーキテクチャ glm5-next が未対応」で読めなかった
  • 入力処理は170.24 tok/s（pp512、中央3点の中央値）、生成は18.46 tok/s（tg128、同）
  • 使われたメモリは約92.8GBで、128GBの範囲に収まった

試すなら、まず llama.cpp を v0.7.0 以降にして、llama-bench でご自身の機体の値を測ってください。ここに載せた値は、あくまで1台の機体の1回分の記録です。

品質や画像入力は、この記事では測っていません。引き続き当ブログのローカルLLMの記事で追っていきます。

参考

  • GLM-5.3-Flash（README・config.json・LICENSE）: https://huggingface.co/zai-org/GLM-5.3-Flash
  • GLM-5.3-Flash リポジトリ情報（作成日）: https://huggingface.co/api/models/zai-org/GLM-5.3-Flash
  • GLM-5.3-Flash 評価データ: https://huggingface.co/zai-org/GLM-5.3-Flash/raw/main/.eval_results/GLM-5.3-Flash.yaml
  • GLM-5.3-Flash GGUF（unsloth）: https://huggingface.co/unsloth/GLM-5.3-Flash-GGUF
  • Artificial Analysis（GLM-5.3-Flash）: https://artificialanalysis.ai/models/glm-5-3-flash
  • GLM 論文（GLM: General Language Model Pretraining with Autoregressive Blank Infilling）: https://arxiv.org/abs/2103.10360
  • GLM-5 技術報告: https://arxiv.org/abs/2602.15763
  • 上記の情報は、2026年10月17日に確認しました
スポンサーリンク

モデル,ローカルAIGMKtec EVO-X2,ローカルLLM