Qwen3.8 27B を RTX 3090 で動かすと、1秒に何トークン出るのか

本ページは広告（アフィリエイトプログラム）を含みます。詳しくはプライバシーポリシーをご覧ください。

Qwen3.8 の27B版（Hugging Face上の合計は約27.8B）が、Hugging Face（AIモデルの配布サイト）に公開されました。公開元は「Qwen」（Hugging Face 上の組織名）で、ライセンスは Apache-2.0 です。量子化したファイルは約16.5GBで、VRAM 24GB の RTX 3090 に収まりそうです。

自宅のGPUで動かすなら、文章が出てくる速さが気になるところです。そこで RTX 3090 を載せた Ubuntu 機に Qwen3.8 27B を入れ、ollama で生成速度を測りました。入力が長くなると速さは変わるのでしょうか？

2026年10月16日時点の内容です。

スポンサーリンク

目的〜何を測った記事か

この記事で測ったのは、次の2つです。

  • 生成速度: 同じ質問を繰り返し、答えの文章が1秒あたり何トークン出てくるか（読む側でなく、書く側の速さ）
  • 入力の長さによる変化: 質問の長さを105トークン、1,190トークン、3,469トークンと変えたとき、入力を読み込む速さと生成速度がどう動くか

測っていないものもあります。日本語の出来や正確さ、画像を読ませたときの動き、他のモデルとの速度比較は、この記事の範囲外です。詳しくは「限界〜測っていないこと」に書きました。

読み終えたときに、3090 で27Bのモデルを動かすと「毎秒40トークン前後で、VRAMは約18〜19GB使う」という目安が持てることを目的にしています。

スポンサーリンク

前提知識〜用語の説明

専門用語が続くため、先に整理します。

  • トークン: AIが文章を処理するときの単位です。文字数とは一致せず、単語や文字の断片を1トークンと数えます
  • tok/s（トークン毎秒）: 1秒あたりに処理するトークン数です。大きいほど速く、本文の速度はすべてこの単位です
  • 入力処理と生成: AIはまず質問を読み込み（入力処理、プリフィル）、その後で答えを1トークンずつ書きます（生成）。読む速さと書く速さは別々に測れます
  • VRAM: GPUに付いている専用メモリです。モデルがすべてここに載れば、GPUだけで動かせます
  • 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。今回の UD-Q4_K_M は、約4ビット級に縮めた形式で、ファイルは16.5GBです
  • ollama: ローカルでAIを動かすためのソフトです。今回はバージョン0.30.5を使いました
  • dense（密）モデル: 質問のたびにモデル全体を使う作りです。必要な部分だけ使う MoE とは対になる言葉です。27B は dense です

Qwen3.8 27B とは〜歴史と作りの蘊蓄

測定の前に、このモデルがどこから来たのかを整理します。数字の背景が分かると、結果の読み方も変わるためです。ここは公式の資料にあたって確認した内容で、出典は記事末にまとめました。

Qwen の系列と、3.8 までの歩み

Qwen3.8 の公式 README は、この世代を「Qwen3.5 と 3.6 の普及を受けた、Qwen のオープンモデル系列で現時点で最も高性能な世代」と位置づけています。27B 版の Hugging Face 上のリポジトリは、2026年8月5日に作られました。リポジトリの作成日は公開日と一致するとは限りませんが、公開時期の目安です。

さかのぼると、Qwen3 の32Bと235B-A22B（合計2,350億パラメータのうち、1回に使うのが220億という MoE モデル）のリポジトリは、2025年4月27日に作られています。Qwen3.5 は2026年2月で、397B-A17B が2月16日、27B と122B-A10B が2月24日です。Qwen3.6 は2026年4月で、35B-A3B が4月15日、27B が4月21日でした。約半年のあいだに、3.5、3.6、3.8 と世代が進みました。

世代リポジトリ作成日（Hugging Face）主なモデル
Qwen32025年4月27日32B、235B-A22B
Qwen3.52026年2月16日・24日397B-A17B、27B、122B-A10B
Qwen3.62026年4月15日・21日35B-A3B、27B
Qwen3.82026年8月5日27B

世代ごとの特徴は、公式 README によると次のとおりです。Qwen3.5 は、画像と文章を最初から一緒に扱う設計で、Gated Delta Networks と疎な MoE を組み合わせたハイブリッド構成、201の言語と方言への対応を特徴としています。Qwen3.6 は、プログラミングを自分で進めるエージェント的な使い方と、過去の思考の流れを保持する Thinking Preservation が売りでした。Qwen3.8 27B は、コーディング、業務、調査、長時間のエージェント動作の強化に加えて、画像や動画の理解（時間単位の動画まで）を挙げています。

Qwen の系譜をもっと詳しく知りたい方は、当ブログの『Qwen第3話』をご覧ください。

中身の作り〜3対1の注意機構

設定ファイル（config.json）によると、Qwen3.8 27B は64層で、Qwen3.5 と同じ系統（qwen3_5）です。3.5、3.6、3.8 の27Bは、層の構成の数値が同じでした。

64層は、「Gated DeltaNet という仕組みを使う層3つ、次に通常の注意機構（Gated Attention）の層1つ」という4層のまとまりを、16回くり返した形です。3対1のハイブリッド構成と呼ばれます。通常の注意機構は、文章が長くなるほど記憶（KVキャッシュ）が増えます。この作りでは、通常の注意機構の層が64層中16層だけです。KVヘッドの数も4と少なくなっています。長い文章でもKVキャッシュが小さく済む設計と読めますが、その効果を数字で確かめた資料は、今回は見つかっていません。

文章の長さは、標準で262,144トークンまで、拡張すると最大1,000,000トークンまでと説明されています。複数のトークンを一度に予測する MTP（Multi-Token Prediction）も学習済みで、設定ファイルにはその層が1つ書かれています。ただし、今回の測定で MTP を使ったかどうかは確かめておらず、効果も測っていません。ビジョンエンコーダ（画像を読む部分）も付いていますが、今回は文章だけで測りました。

外部の評価〜Artificial Analysis の指数

第三者の評価として、Artificial Analysis（AI性能の比較サイト）の Intelligence Index があります。同サイトの X 投稿のグラフ（Intelligence Index v4.3.2）では、Qwen3.8 27B の棒に34と印字されています。この値は Artificial Analysis が出した数字で、当ブログの測定ではありません。正確な値は元の投稿でご確認ください。

なお、Qwen3.8 の README には、Terminal Bench 2.1 の比較表が載っています。27B は73.0、Qwen3.6-27B は63.4、Qwen3.7-Plus は64.0ですが、いずれも開発元が自分で公表した値です。

スポンサーリンク

方法〜どう測ったか

使ったのは、Ubuntu を入れた1台の機体です。GPU は RTX 3090（VRAM 24GB）、ソフトは ollama 0.30.5です。モデルは Hugging Face の unsloth/Qwen3.8-27B-GGUF にある UD-Q4_K_M（16.5GB）を使いました。

項目内容
GPURTX 3090（VRAM 24GB）
OSUbuntu
実行ソフトollama 0.30.5
モデルQwen3.8 27B（UD-Q4_K_M、16.5GB）
測定日2026年10月16日

測定1〜生成速度

  • 考え込む機能（think）はオフ、temperature（出力のばらつき）は0、seed（乱数の種）は1に固定しました
  • 生成するトークン数の上限は256で、日本語400字の説明を求める同じプロンプトを使いました
  • 1回目はモデルをVRAMに読み込む時間を含むため除き、2回目以降の5回を記録しました。この5回から、真ん中の3回の中央値を採ります。両端の2回を除いて、ぶれの影響を減らすためです

測定2〜入力の長さを変えた場合

  • 入力は105トークン、1,190トークン、3,469トークンの3種類で、それぞれ5回、中央3回の中央値を採りました
  • コンテキスト長（一度に扱える文章の長さ）は8192、生成するトークン数の上限は64にしました
  • 毎回、入力の先頭の文章を変えました。ollama は先頭が同じ入力を覚えていて再利用するため、キャッシュを無効にする必要があったからです

破棄した値

同じ入力を繰り返したとき、入力処理が20,000〜65,000 tok/s と出ました。先頭が同じ入力を ollama が再利用した結果で、実際に読み込んだ速さではありません。この値は無効として破棄し、本文の数字には使っていません。測定1では、入力が短かったため、入力処理の速さは参考外にしています。

スポンサーリンク

結果

生成速度は毎秒38.9トークン

回生成速度[tok/s]
138.73
238.79
338.88
438.93
538.98

5回の値は38.73〜38.98 tok/s でした。中央の3回（38.79、38.88、38.93）の中央値は38.88 tok/s、幅は0.14 tok/s です。256トークンを書き終えるまでに、およそ6.6秒かかる計算です。

VRAMの使用量は19.3GBで、モデルは全層がGPUに載りました。測定中の最高温度は76℃でした。

入力の長さと速さ

入力[トークン]入力処理[tok/s]生成[tok/s]
10555640.64
1,1901,19939.75
3,4691,28540.04

入力を長くすると、入力処理は556 tok/s から1,285 tok/s まで上がりました。生成は39.75〜40.64 tok/s の範囲で、入力が長くても大きくは落ちませんでした。この測定のVRAM使用量は17.9GB、最高温度は83℃でした。

測定1の生成速度（38.88 tok/s）より、測定2の値がやや高く出ています。測定2は生成を64トークンで止めており、条件が違います。比べるときは、条件を併記した値で読んでください。

スポンサーリンク

考察

毎秒約39〜40トークンという速さは、256トークンなら約6.6秒、64トークンなら約1.6秒という計算です。ただし、これは1回の質問を1つだけ流した場合の値で、複数の質問を同時にさばいたときは測っていません。

入力処理が、入力105トークンで556 tok/s、3,469トークンで1,285 tok/s と長いほど速く見えるのは、短い入力では、読み込みの準備にかかる時間の割合が大きいためと推測しています。この理由は、今回は確かめていません。

生成速度が入力の長さでほとんど動かなかったことは、長い文章でも通常の注意機構の層が少ない作りが関係している可能性があります。ただし、今回測った入力は3,469トークンまでです。この仮説が正しければ、より長い入力でも速さが落ちにくいはずですが、確かめていません。

VRAM使用量が19.3GB（測定1）と17.9GB（測定2）で違うのは、測定の条件が異なることが一因と考えられます。モデルのファイルは16.5GBなので、残りが作業用のメモリです。24GBのVRAMのうち、測定1では19.3GBを使い、約4.7GBが空いていました。

限界〜測っていないこと

  • 日本語の品質と精度: 文章の出来、正答率、幻覚の多さは測っていません。速さと、答えの良し悪しは別の話です
  • 他のモデルとの速度比較: 別のモデルや別の機体は測っておらず、速い遅いの比較はしていません
  • 長い入力: 3,469トークンより長い入力、262,144トークンまで使う場合は測っていません
  • 同時利用: 質問を1つずつ流しており、複数同時の動きは測っていません
  • 量子化の違い: UD-Q4_K_M だけで、他の形式との差は測っていません
  • MTP・画像・動画: 使っていません（MTP は使ったか未確認）
  • 測定の回数: 各条件5回の測定で、測定日は2026年10月16日の1日だけです。別の日、別のバージョンの ollama では値が動くことがあります
  • Intelligence Index の34: Artificial Analysis が出した数字で、当ブログでは検証していません（日本語の出来や精度は測っていません）
スポンサーリンク

まとめ〜3090で27Bを動かした結果

  • RTX 3090（VRAM 24GB）に、Qwen3.8 27B の UD-Q4_K_M（16.5GB）は全層載り、VRAMは17.9〜19.3GBを使った
  • 生成速度は、日本語400字を求める質問で38.88 tok/s（256トークンまで生成）
  • 入力が105〜3,469トークンの範囲では、生成速度は39.75〜40.64 tok/s で、入力処理は556〜1,285 tok/s だった
  • 同じ入力を繰り返すと、入力処理が20,000 tok/s 超と出るが、キャッシュの再利用による無効な値だった

試すなら、日本語での受け答えの出来を、ご自身の用途で確かめてみてはいかがでしょうか。速さの目安は、この記事の値を参考にしてください。

27Bの密モデルがどこまで日常の用途に使えるか、引き続き当ブログのローカルLLMの記事で追っていきます。

参考

  • Qwen3.8-27B モデルカード（README・config.json・chat_template）: https://huggingface.co/Qwen/Qwen3.8-27B
  • Qwen3.8-27B リポジトリ情報（作成日・ライセンス）: https://huggingface.co/api/models/Qwen/Qwen3.8-27B
  • Qwen3-32B: https://huggingface.co/api/models/Qwen/Qwen3-32B ／ Qwen3-235B-A22B: https://huggingface.co/api/models/Qwen/Qwen3-235B-A22B
  • Qwen3.5-397B-A17B: https://huggingface.co/api/models/Qwen/Qwen3.5-397B-A17B ／ Qwen3.5-27B: https://huggingface.co/Qwen/Qwen3.5-27B ／ Qwen3.5-122B-A10B: https://huggingface.co/api/models/Qwen/Qwen3.5-122B-A10B
  • Qwen3.6-35B-A3B: https://huggingface.co/api/models/Qwen/Qwen3.6-35B-A3B ／ Qwen3.6-27B: https://huggingface.co/Qwen/Qwen3.6-27B
  • 量子化ファイル（UD-Q4_K_M 16.5GB）: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
  • Artificial Analysis の X 投稿（Intelligence Index のグラフ）: https://x.com/artificialanlys/status/2110760441240752399
  • 上記の Hugging Face の情報は、2026年10月16日に取得しました
スポンサーリンク

モデル,ローカルAI