Hy3 を1ビット台の量子化でミニPCに載せると、何トークン出るのか
Tencent（テンセント）が公開した Hy3（295Bパラメータ）を、極端に小さく圧縮した版で、ミニPC「EVO-X2」に載せて動かしました。圧縮の度合いは約1.75ビットで、元の16ビット（BF16）の約9分の1の細かさです。この記事は速さの記録で、答えの品質は測っていないので分かりません。一般に1ビット台の量子化は品質が落ちやすいとされますが、この版でどうかは未確認です。速く動いたことと、役に立つ答えが出ることは別の話です。
3,000億パラメータ級の大きなモデルが、メモリ128GB（OSから見えるのは約122GiB）のミニPCの内蔵GPUで、どれほどの速さで文章を書くのでしょうか？
2026年10月16日時点の内容です。
目的〜何を測った記事か
この記事で測ったのは、次の2つです。
- 入力を読み込む速さ: 512トークンの文章を読み込ませたとき、1秒あたり何トークン処理できるか（読ませる速さ）
- 文章を書く速さ: 128トークンの文章を書かせたとき、1秒あたり何トークン出てくるか（書く速さ。体感に近いのはこちら）
測っていないものもあります。答えの品質は測っていません。そのほか、ollama での動作、長い入力、複数の質問の同時利用、他の圧縮の度合いも、この記事の範囲外です。詳しくは「限界〜測っていないこと」に書きました。
読み終えたときに、「1ビット台まで圧縮した3,000億級モデルは、このクラスのミニPCに載り、毎秒18トークン前後で書く」という速さの目安が持てることを目的にしています。品質の判断材料にはなりません。
前提知識〜用語の説明
専門用語が続くため、先に整理します。
- パラメータ: AIの頭の中にある、調整済みの数値のことです。295Bは約2,950億個を表します（Bは10億）
- MoE（混合エキスパート）: 専門家役の小さな部品を大量に持ち、質問のたびに一部だけ動かす作りです。Hy3 は192個のエキスパートから、1回に8個を使います
- 活性パラメータ: 1トークンを作るときに実際に動く分です。Hy3 は総数295Bのうち21Bです
- トークンと tok/s: トークンは文章を処理する単位で、単語や文字の断片を1と数えます。tok/s は1秒あたりの処理数で、大きいほど速い数字です
- 入力処理（pp512）と生成（tg128）: AIはまず質問を読み込み（入力処理）、その後で答えを1トークンずつ書きます（生成）。pp512 は512トークンの入力処理、tg128 は128トークンの生成を測った値です
- 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。今回の IQ1_M は、1つの数値を平均で約1.75ビットまで縮めた極端な形式です
- GGUF: llama.cpp で動かすためのモデルのファイル形式です
- llama.cpp: ローカルでAIを動かす、オープンソースのソフトです
- Vulkan: GPUを使うための共通の仕組みで、AMDの内蔵GPUでも使えます
- mmap（メモリマップ）: ファイルを少しずつメモリに読み込む方法です。今回は使わず、最初に全部をメモリへ読み込みました
- MTP（複数トークン予測）: 先の数トークンを予想して書く速さを上げる仕組みです。今回の測定では使っていません
Hy3 とは〜歴史と作りの蘊蓄
測定の前に、このモデルがどこから来たのかを整理します。ここは Hugging Face（AIモデルの配布サイト）の公式ページで確認した内容で、出典は記事末にまとめました。
公開元と公開時期
Hy3 の公開元は、Hugging Face 上の組織名「tencent」です。モデルカード（配布ページの説明文）には、Tencent Hy Team が開発したと書かれています。リポジトリが作られたのは2026年7月2日で、ライセンスは Apache-2.0 です。リポジトリの作成日は公開日と一致するとは限りませんが、公開時期の目安として読んでください。
前身の Hy3 preview
Hy3 には前身があり、Hy3 preview といいます。リポジトリの作成は2026年4月13日で、公式の記載では4月23日に重みを公開しました。重みは、AIの中身である数値の集まりのことです。総パラメータ295B、活性21B、MTP層3.8Bという規模は、Hy3 preview と Hy3 で同じです。
Hy3 preview のカードには、「再構築した基盤で訓練した最初のモデル」とあります。Hy3 のカードには、4月下旬の preview の公開後、50以上のプロダクトからの意見を集め、より質の高いデータで追加の学習（ポストトレーニング）を増やした、と書かれています。Hy3 は、同じ規模の土台を、追加の学習で磨き直した版と読めます。ライセンスも変わりました。Hy3 preview は Tencent Hy Community License Agreement、Hy3 は Apache-2.0 です。
| モデル | リポジトリ作成日（Hugging Face） | ライセンス |
|---|---|---|
| Hy3 preview | 2026年4月13日 | Tencent Hy Community License Agreement |
| Hy3 | 2026年7月2日 | Apache-2.0 |
名前について
「Hy」の意味や、「3」が何を指すのかは、公式ページに説明が見当たらず、確認できていません。タグや連絡先のメールアドレスには「hunyuan」の名が出てきますが、Hunyuan（混元）との関係を説明する文章は見つけられなかったため、ここでは関係を断定しません。
中身の作り〜192のエキスパートから8つ
設定ファイル（config.json）によると、層の数は80、エキスパートは192個で、1トークンごとに8個が選ばれます。全員が使う共有エキスパートも1個あります。注意機構（文章中のどこに注目するかを決める部分）は、64ヘッドのうちKV（キーとバリュー）が8ヘッドです。文脈の長さは256K（262,144トークン）、語彙は120,832です。
総数295Bでも、1トークンを作るのに動くのは21Bです。そのため、メモリに全部を置けるなら、書く速さは活性21Bの大きさに近い量で決まる、と考えるのが自然です。ただし、今回これを確かめる測定はしていません。
開発元が想定する動かし方は、H20-3e のような大容量メモリのGPUを8枚使うサーバーです。公式の説明で、ミニPCで動かす手順は確認していません。
GGUF 版と IQ1_M の作り
今回使ったファイルは、Hugging Face の AngelSlim 組織が公開した Hy3-GGUF です。IQ1_M、Q2_K_XL、Q3_K_M、Q4_K_M の4種類があり、IQ1_M のファイルは89,446,312,384バイト（約89.4GB、83.3GiB）です。Q4_K_M は約182GBあるため、IQ1_M はその約半分の大きさです。
IQ1_M の README には「extreme（極端）」と書かれています。作り方も説明されていて、注目の計算（attention）や出力に近い部分は高い精度のまま残し、容量の大半を占める「ルーティングされるエキスパート」を低いビットに落とします。細かい調整は、サンプル文章で重要度を測る imatrix を使ったとあります。それでも、削った影響がどこまで出るかは、この記事では測っていません。
外部の評価〜Artificial Analysis の指数
第三者の評価として、Artificial Analysis（AI性能の比較サイト）の Intelligence Index があります。同サイトの X 投稿のグラフ（Intelligence Index v4.3.2）では、Hy3 の棒に25と印字されています。この値は Artificial Analysis が出した数字で、当ブログの測定ではありません。評価されたのは通常の精度の版で、今回の IQ1_M 版の品質を示すものではありません。
方法〜どう測ったか
| 項目 | 内容 |
|---|---|
| 機体 | EVO-X2（Ryzen AI Max+ 395 搭載ミニPC） |
| メモリ | 128GB（OSから見えるのは約122GiB） |
| GPU | 内蔵 Radeon 8060S |
| ソフト | llama.cpp build 11192（commit 171e8846b）、Vulkan |
| モデル | AngelSlim/Hy3-GGUF の Hy3-IQ1_M.gguf（89.4GB・83.3GiB・1.75bpw） |
| 測定日 | 2026年10月16日 |
1.75bpw は、1つの数値あたりの平均ビット数（bits per weight）です。測定には llama.cpp 付属の llama-bench を使い、-ngl 99（全層をGPUへ載せる指定）、-p 512 -n 128（512トークンの入力処理と128トークンの生成）、-r 5（5回繰り返し）を指定しました。ファイルは mmap を使わず、最初に全部をメモリへ読み込んでいます（-lm none）。5回の値から、上下を1つずつ除いた中央3回を採り、その幅も記録しました。
ollama では測っていません。llama.cpp だけの結果です。
取得には苦労しました。Hugging Face からの単一接続のダウンロードが遅く、単一接続が約9MB/sだったため、8本の範囲取得に切り替えたところ、合計で約50MB/sになりました（10月16日16:38の実測）。
結果
| 項目 | 速さ[tok/s] | 5回のうち中央3回の幅[tok/s] | 意味 |
|---|---|---|---|
| 入力処理（pp512） | 171.71 | 1.63 | 読ませる速さ |
| 生成（tg128） | 18.25 | 0.02 | 書く速さ |
生成は18.25 tok/s で、幅は0.02 tok/s と小さく、繰り返しても安定していました。入力処理は171.71 tok/s で、幅は1.63 tok/s でした。
考察
18.25 tok/s は、書く速さです。1秒に18トークン前後ずつ文字が出てくる計算で、128トークンなら約7秒です。ただし、これは質問を1つだけ流した場合の値です。
総数295Bのモデルが、メモリ128GB（OSから見えるのは約122GiB）の内蔵GPU機で動いたのは、ファイルが89.4GBと小さくなったことが大きいと考えられます。通常精度の BF16 は、約2,988億個のパラメータ×2バイトで約600GBあり、同じ機体のメモリ（OSから見えるのは約122GiB）には載りません。
書く速さ（18.25 tok/s）が、入力処理（171.71 tok/s）より約10分の1と遅いのは、1トークンずつ書くたびに必要な部分のデータを読み直すためと推測しますが、今回、その原因は確かめていません。
ただし、この速さで「使える」かどうかは、答えの質が伴って初めて決まります。1ビット台の圧縮は、文章の崩れや間違いが増える可能性が高いと考えます。この記事では、日本語の出来、正答率、命令の守りやすさを測っていません。
限界〜測っていないこと
- 品質と精度: 答えの出来、日本語の自然さ、正答率、幻覚の多さは測っておらず、分かりません。一般に1ビット台の量子化は品質が落ちやすいとされますが、この版でどうかは未確認です
- ollama での動作: 測っていません。llama.cpp だけです
- 長い入力: 入力は512トークン、生成は128トークンまでです。文脈長256Kを使う場合は測っていません
- 同時利用: 質問を1つずつ流しており、複数の同時利用は測っていません
- 他の量子化: IQ1_M だけです。Q2_K_XL、Q3_K_M、Q4_K_M は測っていません
- MTP: MTP付きのファイルや、推測デコードは使っていません
- 測定の回数と日: 5回の測定で、測定日は2026年10月16日の1日だけです。llama.cpp の版が変わると値も動きます
- Intelligence Index の25: Artificial Analysis が通常精度の版で出した数字で、当ブログでは検証していません
まとめ〜IQ1_Mで動かした結果
- Hy3（総数295B・活性21BのMoE）の IQ1_M 版（89.4GB）は、EVO-X2の内蔵GPUで llama.cpp b11192 + Vulkan により動いた
- 入力処理（pp512）は171.71 tok/s、生成（tg128）は18.25 tok/s だった（5回の中央3回）
- 品質は測っていないので分からない（1ビット台の量子化は一般に品質が落ちやすいとされるが、この版でどうかは未確認）
試すなら、まずご自身の用途の質問で、答えの質を確かめてみてはいかがでしょうか。速さの目安は、この記事の値を参考にしてください。
大きなモデルをどこまで小さく圧縮して使えるか、引き続き当ブログのローカルLLMの記事で追っていきます。
参考
- Hy3 モデルカード（README・config.json）: https://huggingface.co/tencent/Hy3
- Hy3 リポジトリ情報（作成日・ライセンス・パラメータ数）: https://huggingface.co/api/models/tencent/Hy3
- Hy3 preview モデルカード: https://huggingface.co/tencent/Hy3-preview ／ リポジトリ情報: https://huggingface.co/api/models/tencent/Hy3-preview
- 量子化ファイル（AngelSlim/Hy3-GGUF）: https://huggingface.co/AngelSlim/Hy3-GGUF
- Artificial Analysis の X 投稿（Intelligence Index のグラフ）: https://x.com/artificialanlys/status/2110760441240752399
- 上記の Hugging Face の情報は、2026年10月16日に取得しました