gpt-oss-120b をミニPCの内蔵GPUで動かすと、1秒に何トークン出るのか
OpenAI が公開した大型モデル「gpt-oss-120b」を、「EVO-X2」（Ryzen AI Max+ 395 搭載ミニPC。メモリ128GB。OSから見えるのは約122GiB。内蔵GPUは Radeon 8060S）で動かし、答えが出てくる速さを測りました。このモデルは重み（AIの頭脳にあたる数値データ）ごと公開されています。ファイルだけで約65GBあるモデルが、このミニPCの内蔵GPUで動くでしょうか？
2026年10月16日時点の内容です。
目的〜何を測った記事か
この記事で測ったのは、次の2つです。
- 生成速度: 同じ質問を繰り返し、答えの文章が1秒あたり何トークン出てくるか（読む側でなく、書く側の速さ）
- どの装置で動いたか: モデルが内蔵GPU、NVIDIA の GPU、CPU のどれに載ったか（ollama のサーバーログで確認）
測っていないものもあります。答えの出来や正確さ、長い入力を渡したときの動き、複数人での同時利用は、この記事の範囲外です。詳しくは「限界〜測っていないこと」に書きました。
読み終えたときに、「EVO-X2 の内蔵GPUに gpt-oss-120b は全部載り、毎秒35トークン前後で書く」という目安が持てることを目的にしています。
前提知識〜用語の説明
専門用語が続くため、先に整理します。
- パラメータ: AIの頭脳の中にある、調整済みの数値のことです。数が多いほど大きなモデルと呼ばれます。「117B」は1,170億個の意味です
- トークン: AIが文章を処理するときの単位です。文字数とは一致せず、単語や文字の断片を1トークンと数えます
- tok/s（トークン毎秒）: 1秒あたりに処理するトークン数です。大きいほど速く、本文の速度はすべてこの単位です。答えを書く速さ（生成）を指します
- MoE（混合エキスパート）: 小さな専門家（エキスパート）をたくさん持ち、1トークンごとに必要な数人だけを呼ぶ作りです。全体は大きくても、1回の計算に使う量は小さく済みます
- 量子化: モデルの数値を粗くして、ファイルを小さくする方法です。今回の MXFP4 は約4ビット級の形式です
- VRAM: GPUの作業机にあたる専用メモリです。EVO-X2 のような内蔵GPUの機体では、本体のメモリ（128GB。OSから見えるのは約122GiB）の一部をGPUが借りて使います
- ollama: ローカルでAIを動かすためのソフトです。今回はバージョン0.32.15を使いました
- ROCm: AMD のGPUでAIの計算をするための仕組みです。NVIDIA でいう CUDA に相当します
gpt-oss-120b とは〜歴史と作りの蘊蓄
測定の前に、このモデルがどんなものかを整理します。ここは Hugging Face（AIモデルの配布サイト）のモデルカード（説明書）と設定ファイル（config.json）で確認した内容で、出典は記事末にまとめました。
OpenAI の重みつきモデル、2種類
公開元は OpenAI で、Hugging Face 上のリポジトリは2025年8月4日に作られました。ライセンスは Apache-2.0 で、Apache-2.0 とだけ確認しています。README は「OpenAI’s open-weight models」と紹介しています。open-weight（重みを公開している）とは、頭脳の数値データを誰でも手元にダウンロードできるという意味です。
同じ日に、大小2つが並んで作られました。大きい方が今回の gpt-oss-120b、小さい方が gpt-oss-20b です。README の数字では、120b が合計117B・1回に使う分（活性）5.1B、20b が合計21B・活性3.6B です。名前の「120」は、おおよそのパラメータ数を指していると読めますが、名前の由来を述べた資料は確認できていません。
中身の作り〜MoE と交互に並ぶ注意機構
設定ファイルによると、gpt-oss-120b は36層で（ログの「37/37」の数え方は確認していません）、各層にエキスパートを128個持ち、1トークンごとにそのうち4個を使います。合計117Bに対して活性が5.1B という差は、この作りから生まれます。全体を置く場所は大きく要りますが、1トークンあたりの計算量は小さいモデルです。
注意機構（文章のどこに注目するかを決める仕組み）は、全体を見る層と、直近128トークンだけを見る層（sliding window、窓をずらしながら見る方式）が交互に並んでいます。36層のうち18層ずつです。直近だけを見る層は、長い文章でも記憶（KVキャッシュ）が増えにくくなります。ただし、その効果を数字で確かめた資料は、今回は見つけていません。
文脈の長さ（一度に扱える文章の長さ）は、設定ファイル上は131,072トークンです。今回の測定では、ここまで長い入力は使っていません。
MXFP4 で65GB
README によると、このモデルは MoE の重みを MXFP4 という約4ビット級の形式で後学習（post-train）しており、評価もすべてこの形式で行われています。そのため、80GB のGPU 1枚に収まると説明されています。今回 ollama で入れたファイルも MXFP4 で、大きさは65GBでした。
外部の評価〜Artificial Analysis の指数
第三者の評価として、Artificial Analysis（AI性能の比較サイト）の Intelligence Index があります。同サイトの X 投稿のグラフ（Intelligence Index v4.3.2）では、gpt-oss-120b の棒に12と印字されています。この値は Artificial Analysis が出した数字で、当ブログの測定ではありません。正確な値は元の投稿でご確認ください。
方法〜どう測ったか
| 項目 | 内容 |
|---|---|
| 機体 | EVO-X2（Ryzen AI Max+ 395 搭載ミニPC。メモリ128GB。OSから見えるのは約122GiB。内蔵GPU Radeon 8060S） |
| 実行ソフト | ollama 0.32.15（use_mmap を false に設定） |
| モデル | gpt-oss:120b（MXFP4、65GB） |
| 測定日 | 2026年10月16日 |
- 考える過程を出す機能（think）は指定せず、既定のままにしました
- 生成するトークン数の上限は256で、同じプロンプトを使いました
- 1回目はモデルを読み込む時間を含むため除き、2回目以降の5回を記録しました。この5回から、真ん中の3回の中央値を採ります。両端の2回を除いて、ぶれの影響を減らすためです
- 同じ日に、同じ条件の別の1セットも測りました
- どの装置に載ったかは、ollama のサーバーログ（journalctl で表示）で確かめました
use_mmap を false にしたのは、モデルをファイルから必要な分だけ読む方式（mmap）をやめて、最初に全部メモリへ読み込むためです。大きなモデルがうまく載らないことがあるため、この設定にしました。
入力を読み込む速さ（入力処理）の数値は、本文では使いません。同じプロンプトを繰り返したため、ollama が先頭の同じ部分を覚えて再利用し、実際より大きな値が出るからです。
結果
生成速度は毎秒35.19トークン
| 回 | 生成速度[tok/s] |
|---|---|
| 1 | 34.96 |
| 2 | 35.18 |
| 3 | 35.19 |
| 4 | 35.26 |
| 5 | 35.28 |
5回の値は34.96〜35.28 tok/s でした。中央の3回（35.18、35.19、35.26）の中央値は35.19 tok/s、幅は0.08 tok/s です。256トークンを書き終えるまでに、およそ7.3秒かかる計算です。
同じ日の別の1セットは36.49 tok/s（幅0.06 tok/s）でした。セット間で約4%（35.19→36.49 tok/s は +3.7%）動きました。
どの装置で動いたか
サーバーログには、使った装置が「ROCm0 Radeon 8060S Graphics」（内蔵GPU）と出ていました。ログには「offloaded 37/37 layers」と出ており、全層がこのGPUに載っています。設定ファイルの層数は36で、ログの「37/37」の数え方は確認していません。メモリの内訳は、モデル本体が61,223MiB、KVキャッシュが4,608MiB です。ollama ps の表示では、サイズ64.4GB、そのうちGPU側も64.4GB でした。
この機体には NVIDIA の GPU も付いていますが、ログでは選ばれておらず、測定中に使われていません。CPU だけで動いたのでもありません。
考察
毎秒約35トークンという速さは、256トークンの答えを約7.3秒で書き終える速さです。ただし、これは1つの質問を流した場合の値で、長い入力や複数の質問を同時に流した場合は測っていません。
117B という大きなモデルが、この速さで動いた理由として、MoE の作りが関係している可能性があります。1トークンで使うのは活性5.1B 分だけなので、毎回読み出すデータ量が全体よりずっと小さく済みます。ただし、今回は「他の作りのモデルより速い」といった比較をしておらず、この説明は設定ファイルの数字からの推測です。
全層が内蔵GPUに載ったのは、128GB のメモリを本体とGPUで分け合う作りだからだと考えられます。65GB のファイルは、専用VRAMが小さいGPUでは載りません。一括で載った理由は、GPUが使える領域に余裕があったためと推測しますが、上限の設定は確認していません。
セット間で約4%動いた原因は確かめていません。温度や、機体内の別の処理の影響があり得ますが、推測の域を出ません。1つの数字で言い切らず、35〜36 tok/s 台と読むのが安全です。
限界〜測っていないこと
- 答えの品質と精度: 日本語の出来、正答率、幻覚（もっともらしい誤り）の多さは測っていません。速さと答えの良し悪しは別の話です
- 長い入力: 入力処理の数値はキャッシュの影響で使えず、長い入力による変化も測っていません。設定上の131,072トークンも試していません
- 同時利用: 質問を1つずつ流しており、複数同時の動きは測っていません
- 思考の強さの違い: 推論の強さ（low/medium/high）や think の設定を変えた場合は測っていません
- 測定の回数: 各セット5回で、測定日は2026年10月16日の1日だけです。別の日、別のバージョンの ollama では値が動くことがあります
- Intelligence Index の12: Artificial Analysis が出した数字で、当ブログでは検証していません
まとめ〜EVO-X2で gpt-oss-120b を動かした結果
- gpt-oss-120b（MXFP4、65GB）は、EVO-X2 の内蔵GPUに全層載った（ログ表示は37/37）（モデル61,223MiB、KVキャッシュ4,608MiB）
- 生成速度は35.19 tok/s（256トークンまで生成、5回の中央3点の中央値、幅0.08 tok/s）
- 同じ日の別セットは36.49 tok/s で、セット間で約4%（+3.7%）動いた
- NVIDIA の GPU は使われておらず、CPU だけでもなかった
次に試すなら、ご自身の用途で日本語の受け答えの出来を確かめてみてはいかがでしょうか。速さの目安は、この記事の値を参考にしてください。
大きなモデルを手元の機体でどこまで動かせるか、引き続き当ブログのローカルLLMの記事で追っていきます。
参考
- gpt-oss-120b モデルカード（README）: https://huggingface.co/openai/gpt-oss-120b
- gpt-oss-120b の設定ファイル: https://huggingface.co/openai/gpt-oss-120b/raw/main/config.json
- リポジトリ情報（作成日・ライセンス）: https://huggingface.co/api/models/openai/gpt-oss-120b ／ https://huggingface.co/api/models/openai/gpt-oss-20b
- gpt-oss-20b の設定ファイル: https://huggingface.co/openai/gpt-oss-20b/raw/main/config.json
- Artificial Analysis の X 投稿（Intelligence Index のグラフ）: https://x.com/artificialanlys/status/2110760441240752399
- 上記の Hugging Face の情報は、2026年10月16日に取得しました