話題の Strata とは？〜12GBのグラボで125Bモデルが動く仕組み・速さ・使える環境を調べた
GPU のメモリ（VRAM）に載り切らないほど大きなモデルが、12GB のグラフィックボードで動く。そう紹介されて話題になっているのが、Strata（ストラータ）です。何がすごいのでしょうか？ 自分のPCで使ってよいのでしょうか？
この記事では、Strata の公式の説明（GitHub の README と同梱の文書）を読み、仕組み、速さ、できること、有名になった経緯、カスタマイズ、対応 OS、今後を整理しました。当ブログは、17994 で Strata を動かして速さを測っています。ただ、仕組みの解説は書いていませんでした。
2026年10月12日時点の内容です。Strata は、ほぼ毎日更新されています。
調べたこと〜範囲と情報源
調べたのは3つです。Strata が何をするものか、どれくらい速いと言われているか、使う前に知っておきたい条件です。
- 公式の情報: GitHub の Niko1221/Strata の README と、同梱の文書（HOW_IT_WORKS・MODELS・INSTALL・SECURITY・COMMUNITY_BENCHMARKS）、リリースの履歴、Issues を読みました。
- 反響の情報: Hacker News（海外の技術ニュースサイト）と、報道・解説記事の日付を、確認できた範囲で集めました。
- 当ブログの実測: 17994 で測った値を、そのまま引きます。今回は新しい測定をしていません。
README と同梱の文書の数字は、原文で確かめています。作者の論文（Strata-Paper.pdf）と、複数 GPU の説明（MULTI_GPU.md）の内容は、この記事には反映していません。
Strata とは何か
Strata は、Qwen3.8-Flash-Next という大きなモデル専用の、ローカル推論エンジンです。Qwen3.8-Flash-Next は、全体が 125B（1,250億）パラメータの MoE で、1つのトークンを書くときに働くのは約 6B 分だけです。MoE は、たくさんの専門家（エキスパート）の一部だけを使う作りです。
| 項目 | 内容 |
|---|---|
| 作者 | GitHub の Niko1221（個人かチームかは分かりませんでした） |
| 初公開 | 2026年9月24日（v0.1.0） |
| ライセンス | MIT（コード）。モデルの条件は、モデルごとに別 |
| 言語・基盤 | C++。llama.cpp と ggml の部品を利用していると書かれています |
| 対応モデル | Qwen3.8-Flash-Next の系統のみ（作者は、密なモデルは範囲外と回答） |
汎用の推論エンジンではありません。この点が、llama.cpp や Ollama との大きな違いです。
何がすごいのか〜専門家と参照表を、置き場所で分ける
README の説明では、モデルの専門家は 24,576 個あります。1つのトークンを書くときに使う専門家は、10個です。Strata は、これを速さの違う場所に分けて置きます。
| 置き場所 | 入れるもの | README の説明 |
|---|---|---|
| GPU のメモリ（VRAM） | よく使う専門家のキャッシュ | 会話に合わせて入れ替わる。VRAM 1GB あたり約 700 個が載る |
| メインメモリ（RAM） | 全部の専門家 | 35〜55GB（モデルの大きさによる）を、固定して持つ |
| CPU（計算の担当） | キャッシュに無い専門家の計算 | GPU と同時に計算する |
| SSD | n-gram の参照表（28.8GB） | 1トークンあたり数行だけを読む。専門家は、通常はRAMに置く |
長い文章を読むときは、次の層の専門家を GPU へ流し込みながら、いまの層の計算をする、という重ね合わせも使います。さらに、モデルに入っている先読みの層（MTP）で最大3トークンを下書きして、まとめて検算する投機的デコードにより、1.6〜1.8 倍速くなると README は書いています。
なお、17994 では n-gram の表を 26.8GB と書きましたが、これは GiB の表記です。26.8GiB は約 28.8GB で、README の 28.8GB と同じ大きさです。
どれくらい速いのか
作者の公表値は、RTX 5070（12GB・Ryzen 5 7600・RAM 64GB）と、RX 9070 XT（16GB）で、書く速さが次のとおりです。条件は、出力4K・入力32Kトークンです。README には、IQ3_XXS と Coder 版の行もあり、ここでは省いています。
| GPU | 量子化 | 書く速さ[tok/s] | 読む速さ[tok/s] |
|---|---|---|---|
| RTX 5070 12GB | Q2_0 | 94 | 2,650 |
| RTX 5070 12GB | IQ2_XS | 79 | 2,090 |
| RTX 5070 12GB | IQ3_S | 53 | 1,620 |
| RX 9070 XT 16GB | Q2_0 | 60 | 1,160 |
| RX 9070 XT 16GB | IQ2_XS | 52 | 1,110 |
- 第三者の記録: COMMUNITY_BENCHMARKS に、16件の測定が載っています（2026-09-30〜10-10）。書く速さは、RTX 5090 の 179.4 tok/s（出力4K・IQ2_XS）のように作者の 94 を上回る例も、2枚の Quadro RTX 4000 の 18.1〜23.2 tok/s（入力73Kトークン）のように下回る例もあります。GPU、版、量子化、入力の長さが揃っていないため、優劣は付けません。
- 当ブログの測定（17994）: RTX 5060 Ti 16GB で 70.7 tok/s（5回の中央3点の中央値）でした。
- 条件の指摘: ある開発者の記事は、約100 tok/s は先読みの的中率が高いコードや構造のある出力での値だと書いています。同じ記事は、Strix Halo の機体で、ふつうの文章は約22 tok/s、コードは約82 tok/s だったとしています。これは第三者の記事で、当ブログでは確かめていません。
何ができるのか
| 項目 | 内容 |
|---|---|
| 形式 | GSQ-RCO 形式の GGUF（Q2_0、IQ2_XS、IQ3_XXS、IQ3_S）、Unsloth の UD-IQ4_XS など |
| 必要なメモリ | RAM は 32GB から（コード向けの Coder 版）。専門家を全部持つ版は 48GB（Q2_0・IQ2_XS）から。64GB で全サイズ。VRAM は 12GB 以上。ディスクは約 80GB（Q2_0 を AVX-512 の CPU で使うと、さらに約 40GB） |
| 画面 | ブラウザの画面（127.0.0.1:8080）で、チャットと、GPU・CPU・RAM のモニター、設定 |
| API | OpenAI 互換、Anthropic 互換、Responses API（Codex CLI 向け）。関数呼び出し対応 |
| そのほか | 思考の強さを4段階で変更、画像入力、並列リクエスト |
どういう経緯で有名になったのか
| 日付 | 出来事 |
|---|---|
| 2026-09-24 | v0.1.0 を公開（Windows 用のビルド済みエンジン） |
| 2026-09-28 | 海外の開発者向けの紹介サイトが取り上げる |
| 2026-10-04 | Hacker News に「RTX 4090 で 100 tok/s」の投稿。936点（10/12時点） |
| 2026-10-05 | GIGAZINE などが紹介 |
| 2026-10-12 | GitHub の Star は約 22,000 |
Hacker News の点数は、10月12日に API で確認した値です。作者の素性と、著名人の言及は、確認できませんでした。
疑う声もあります。ある報道は、開発者の発言を引いて、コードをどれだけAIが書いたか分からないと論じています。Hacker News では、画像のタスクで Strata と llama.cpp の誤差が違うという投稿もありました。どちらも第三者の指摘で、再現の資料は確認できていません。
カスタマイズはできるのか
- 起動時のオプション: PC に合わせて自動で調整する –calibrate、GPU と CPU の専門家の配分を変える –pcie-frac、専門家キャッシュの更新頻度、文脈長の指定（8K〜256K）、他の GPU アプリと共存する –vram-elastic などがあります。
- 思考の強さはチャット画面で、並列数は設定ファイル（または setup の –parallel）で変えます。
- 自分のモデルは、同じ系統の GGUF なら、–gguf-dir で手持ちのものを使えます（–inspect で使えるかを調べられます）。ほかのアーキテクチャのモデルは使えません。
- コードは MIT ライセンスで、プルリクエストは 398 件が開いています。
どの OS・GPU で動くのか
| 環境 | 状況 |
|---|---|
| Windows | 10 / 11 に対応 |
| Linux | Ubuntu 22.04 / 24.04 と記載。当ブログは Ubuntu 26.04 で動かしました |
| macOS | 公式は非対応。Metal 対応のプルリクエスト（#1449）は、提出者自身が 10/10 に取り下げました（未マージ） |
| NVIDIA | RTX 20〜50 番台（ドライバ 580 以上）。古い GPU は実験的 |
| AMD | RX 6800/6900・7000・9000 番台など。Strix Halo は実験的 |
| Intel | Arc は Linux 向け。v0.1.40.2 で「公式サポート」と告知されたが、README と INTEL_ARC.md は「実験的・コミュニティ作」のまま |
| Docker | Linux と NVIDIA Container Toolkit で利用可 |
今後はどうなるのか
ほぼ毎日更新されています。v0.1.43（2026-10-11）では、AMD の GPU で、16GB 相当のキャッシュに制限した条件の IQ3_XXS の書く速さが、最大 38% 向上したと書かれています。ロードマップの文書は見当たらず、今後の予定を示す作者の発言は確認できませんでした。
Issue #770 で、作者は、密な 27B は範囲外なので llama.cpp を使うよう答えています。ほかの MoE への対応を問う質問には、回答がありません。llama.cpp 本体は、Qwen3.8-Flash-Next に 2026-08-27 に対応しています（#27742）。
使う前に知っておきたいこと
- ビルド済みのエンジンを、起動用のスクリプトが取得して実行する形式です。setup.py は、エンジンを GitHub が公開する SHA-256 と照合します。コード署名は確認できませんでした。
- ネットワークの待ち受けは、既定で自分のPCだけ（127.0.0.1）です。外へ開くには –host 0.0.0.0 の指定が要り、API キーが無いと警告が出ます。Docker 版は、既定で外向きです。
- 作者は、外部の監査をまだ受けていないと SECURITY に書いています。
- 初回の起動で、PC が1〜3分固まることがあると書かれています。
- モデルはリポジトリの外にあり、各自のライセンスです。メニューにない派生モデルについては、記載がありません。
考察〜何がすごくて、何が限られるのか
公開された事実から言えるのは、次の3点です。
- VRAM に載らない MoE を、専門家を RAM に全部置き、よく使う分を VRAM に載せて、CPU も計算に加えることで、12GB の GPU でも使える速さにした。
- ただし、Qwen3.8-Flash-Next 専用で、必要な RAM は 32〜64GB と大きい。
- 第三者の記録は、作者の公表値を上回る例も下回る例もあり、条件をそろえた比較は、まだない。
話題性の中身は、仕組みの新しさと、数字の見せ方の両方です。どちらが強いかは、この調査では判断していません。
調べきれなかったこと
- 作者の論文と、複数 GPU の説明の文書の内容は、この記事に反映していません。
- コード署名、Reddit や X の反響、著名人の言及は確認できませんでした。
- 今後のロードマップは、見つかりませんでした。
- 当ブログで確かめたのは、17994 の動作と速さだけです。品質（賢さ）は測っていません。
まとめ〜Strata は、12GB のグラボで巨大な MoE を動かす専用エンジン
Strata は、Qwen3.8-Flash-Next 専用のエンジンで、専門家を RAM に全部置き、よく使う分を VRAM に載せることで、VRAM に載り切らないモデルを動かします。作者の公表値は RTX 5070 で 94 tok/s、第三者の16件の記録は 18〜179 tok/s と、条件によって大きく違います。
次の行動として、試すなら、先に自分のPCの RAM が 32GB 以上（全サイズなら 64GB）あるか、GPU の VRAM が 12GB 以上あるかを確かめてください。ビルド済みの実行ファイルを動かす形式なので、README の INSTALL と SECURITY を読んだうえで、判断してください。