GMKtec EVO-X2実機検証:大きいほど賢いのか〜ローカルLLMの”賢さ”を推論パズル8問で実測

前回は「速さ」の話でした。メモリ帯域さえ分かれば、生成の速度はおおよそ読める。では、容量の大きいミニPCに大きなモデルを載せられたとして、肝心の中身――つまり「どれくらい賢いのか」は、どうでしょうか。大きいほど賢い、と言い切れるのか。同じ推論パズルを何台ものモデルに解かせて、手元で確かめてみます。(実機での計測・2026年6月時点)

スポンサーリンク

測り方:引っかけ問題を八問、同じ条件で

使ったのは、ひと世代前まで大型モデルでも取りこぼしていた、ちょっと意地の悪い推論パズルを八問です。「バットとボールの値段」のような引っかけ算、二段階の割合計算、文字数の数え上げ、曜日の計算などを混ぜました。答えが一つに定まる問題ばかりなので、正解か不正解かは機械的に採点できます。ぶれが出ないよう、温度(ランダム性)はゼロに固定しています。EVO-X2の上で、小さな八十億パラメータのモデルから、二千三百五十億パラメータの巨大モデルまで、同じ問題を解かせました。

結果:九ギガのモデルが、二千三百五十億に並んだ

正答数を並べると、素直な「大きいほど賢い」にはなりませんでした。

モデル サイズ 八問の正答 生成速度
gpt-oss 120B(MoE) 65 GB 8 / 8 33 トークン/秒
Qwen3.6 35B(活性3B・MoE) 23 GB 8 / 8 58 トークン/秒
Qwen3 14B 9.3 GB 8 / 8 24 トークン/秒
Qwen3 235B Thinking(思考型) 104 GB 8 / 8 約18 トークン/秒
Qwen3 235B(無印) 85〜104 GB 7 / 8 約18 トークン/秒
MiniMax M2(230B) 108 GB 7 / 8 24 トークン/秒
Llama 3.3 70B(即答型) 42 GB 6 / 8 5 トークン/秒

満点を取ったなかに、わずか九・三ギガバイトの14Bがいます。一方、十倍以上の容量を食う二千三百五十億の無印モデルは、満点に一歩届きませんでした。サイズの順位と、賢さの順位は、きれいには一致しません。

分かったこと(その一):効くのは大きさより「途中の考えを書くか」

満点組と、一問落とした組を分けたのは何か。容量でも、量子化(圧縮率)でもありませんでした。落ちた一問は、ほとんどが「割合を二段階でかける」多段の計算です。一段目で止まってしまうと間違える、という問題でした。満点を取ったモデルは、いずれも答える前に途中の計算を書き出す「思考連鎖」の性格を持っています。逆に、即答型の70Bは、考えを書かずに答えを出そうとして、ここで滑りました。サイズを増やすより、ひと手間「順を追って考える」ほうが、この種の問題では近道でした。

ただし、ここは正直に但し書きを置きます。八問という物差しは狭く、良い思考型ならすぐ満点に届いてしまう天井の低さがあります。「14Bと二千三百五十億が同点」は、両方がこの問題群を越えた、というだけの意味で、知識の広さやもっと込み入った課題まで含めた総合力が並んだ、という話ではありません。問題を難しくしていけば、容量の大きいモデルの地力が出てくるはずです。あくまで「この水準の推論なら、小さくても思考型なら通用する」という読み方が正確でしょう。

スポンサーリンク

分かったこと(その二):圧縮率を上げても、賢さは戻らない

巨大モデルを手元で動かすときは、データを圧縮(量子化)して載せます。「もっと丁寧に圧縮すれば賢くなるのでは」と思い、同じ二千三百五十億モデルを、二ビット相当と三ビット相当の二段階で測り比べました。結果は、どちらも七問正解で、落とす問題も同じ。圧縮の粗さが原因ではなく、モデルそのものの素の性格だった、ということです。容量を二割増やしてまで丁寧に圧縮しても、この一問は戻りませんでした。

正直な余談:採点プログラムのほうが間違っていた

ひとつ白状しておきます。最初の集計では、どのモデルも「五分で作れる」という引っかけ問題を落としているように見えました。おかしいと思って中身を開くと、原因は採点側にありました。問題文は「数字だけで答えよ」と指示しているのに、採点プログラムが「5分」という単語を含まないと不正解にしていたのです。モデルたちは指示どおり「5」とだけ正しく答えていました。採点の条件を直したら、全モデルがそろって一点ずつ上がりました。自分の物差しを疑うのも、実測の一部だと思い知らされた一件です。

思考型を足すと、二千三百五十億も満点に届く

無印の巨大モデルが落とした多段の割合計算を、同じ系統の「思考型」モデルに解かせてみました。こちらは答える前に手順を一つずつ書き出してから結論を出すため、二段目の計算も飛ばさず、無事に正解。八問すべてを取りました。巨大さが効いたというより、「考え方」を変えたら届いた、と言うほうが正確です。ただし、思考を長く書き出すぶん、一回の応答に時間がかかります。賢さと引き換えに、待ち時間は伸びる。ここはトレードオフです。

クラウドの最新と、どこまで肩を並べるか

ここからは実測ではなく、各種ベンチマークの公開値を踏まえた位置づけの話です(調査・2026年6月時点)。OpenAIが公開しているモデルカードなどによると、gpt-oss 120B は、一般知識と推論をまとめて測る指標(MMLU)でおよそ九割に達し、主要な推論課題ではクラウド有償の小型上位モデル(o4-mini)にほぼ並ぶ水準、一部の課題では旧主力のGPT-4oを上回る、とされています。最前線の最新最上位にはまだ距離がありますが、「少し前のクラウド上位に迫る賢さが、手元のミニPCで動く」とは言ってよさそうです。容量・速度・賢さのバランスでいえば、二千三百五十億をわざわざ載せるより、半分の容量で満点を取る gpt-oss 120B のほうが、日常使いの大型としては扱いやすいというのが、測ってみての実感でした。

結論:「載せられる」と「賢い」は、別の話

大きなモデルを載せられること自体は、ミニPCの統合メモリの強みです。ただ、載せられることと賢いことは、必ずしも一致しませんでした。賢さを分けるのは、容量や圧縮率より「順を追って考えるか」のほう。だとすれば、手元で大型を一本選ぶなら、満点・そこそこ速い・容量も控えめな gpt-oss 120B が、まずの本命でしょう。巨大な二千三百五十億は、もっと難しい問題に思考型で挑むときの切り札として、必要なときだけ呼び出す。そんな使い分けが、測った結果から見えてきました。

参考にした資料

※推論パズル八問の結果は当方のEVO-X2での実測(2026年6月)。クラウドの最新モデルとの比較は、上記の公開ベンチマークに基づく位置づけです。

スポンサーリンク