ローカルLLMの賢さの数字は、満点に近づいて比べられなくなった？〜独自基準の設問を見直し、算術96問を考えさせるかどうか・ollamaのバージョンで測り直した
ローカルLLM（自分のパソコンで動かすAI）の賢さを、自分で作った基準で測ってきましたが、モデルが進化して、点数が満点に近づき、比べられなくなりました。賢さの差が出るように設問を見直すと、点数はどう動くのでしょうか？
当ブログは、ローカルLLMを評価するために、aeb という独自の測定基準を作ってきました。公開されているベンチマーク（SWE-bench や GAIA など）の順位は、自分の作業の出来を予測してくれないと考え、その考え方を参考にしながら、自分の作業に近い設問で、複数の軸を測る作りです。この記事は、その設問を見直している途中の結果のうち、算術96問を測り直した部分と、動かすソフト（ollama）のバージョンで点数が変わった実験をまとめたものです。
2026年10月19日時点の内容です。設問の見直しは途中で、この記事の結果は、その一部です。
前提: 独自基準の点数が満点に近づいて、比べられなくなった
aeb の旧い設問（コーディングや、引っかけ問題に引っかからないかなど）は、モデルが進化するにつれて、9B（90億パラメータ）以上のモデルでは、ほぼ満点になりました。全員が満点に近いと、モデルの賢さの差が出ません。これを、点数の飽和と呼んでいます。
aeb では、モデルの間で点数に差が出る設問だけが、比べる役に立つと決めています。そのため、飽和した設問は順位に使わず、難しくするか、外す扱いにしています。そこで、賢さの差が出るように、設問の見直しを進めています。旧い設問の値は、変えずに残してあります。新しい設問は、別の列として並べ、順位に使ってよいかどうかを、列ごとに記録しています。
目的: 見直した設問で、何を確かめるか
- 算術96問を「考えさせる（think=true）」と「考えさせない（think=false）」で解かせ、正答率が何点動くかを見る。
- 正答率と同時に、生成したトークン数（考えた長さ）も記録して、点数が高い理由を見る。
- 同じモデル・同じ機体で、ollama のバージョンだけを変えたとき、点数が変わるかを確かめる。
方法
- 問題: 算術96問（足し算・引き算・掛け算など）。各問を1回だけ解かせました。温度は0です。
- 機体と条件: RTX 3090（24GB）、ollama 0.30.5、量子化は Q4_K_M。モデルごとに、考えさせない場合と考えさせる場合の2通りを測りました。
- 記録: 正答数と、生成したトークン数の中央値（正答した問・誤答した問に分けて）。
- ollama の版の実験: 同じ機体（EVO-X2）・同じモデルファイル（digest が同じ）・同じ問題で、ollama 0.30.5 と 0.32.15 を比べました。0.30.5 は公式の配布ページから取得し、別のポートで動かして、共有の環境は触っていません。
- 注意: 各問1回で、信頼区間（結果のばらつきの幅）は付けていません。順位を付けるための測定ではなく、数字の動きを見るための測定です。
結果1: 考えさせると、正答率が大きく上がる
| モデル | 考えさせない（正答率） | 考えさせる（正答率） | 生成トークン中央値（考えさせた場合） |
|---|---|---|---|
| qwen3:14b | 59/96（0.615） | 95/96（0.990） | 724 |
| qwen3:8b | 64/96（0.667） | 95/96（0.990） | 631 |
| glm-4.7-flash（Q4_K_M） | 63/96（0.656） | 93/96（0.969） | 550 |
| nemotron-3-nano:30b | 57/96（0.594） | 96/96（1.000） | 312 |
| nemotron-3-nano:4b | 46/96（0.479） | 86/96（0.896） | 207 |
考えさせない場合は、どのモデルも 0.48〜0.67 でした。考えさせると 0.90〜1.00 に上がります。考えさせた場合は、4モデルが 0.97 以上で、天井に近い値です。そのため、この列でモデルどうしの順位は付けません。
誤答の問題を見ると、qwen3:14b・qwen3:8b・glm-4.7-flash は、誤答した問だけ生成トークンが極端に長くなっています（qwen3:14b は 6,041、qwen3:8b は 6,664、glm-4.7-flash は 32,703）。考えすぎて答えが出なかったタイプです。一方、nemotron-3-nano:4b の誤答は、考えた長さが正答より短く（124 と 213）、早めに諦めたように見えます。
Ornith-1.0-9B は、考えさせない場合も考えさせる場合も、上限の時間内に96問が終わらず、点数を作れませんでした。「点数が低い」のではなく「この条件では測れなかった」という結果です。
結果2: ollama のバージョンで、点数が変わった
| ollama のバージョン | 機体 | モデルファイル | 正答率（考えさせない） |
|---|---|---|---|
| 0.30.5 | EVO-X2 | nemotron-3-nano:4b（同じ digest） | 0.479（46/96） |
| 0.32.15 | EVO-X2 | nemotron-3-nano:4b（同じ digest） | 0.615 |
同じモデルファイル・同じ機体・同じ問題でも、ollama のバージョンが違うだけで、正答率は 0.479 から 0.615 に変わりました。96問のうち17問で結果が違い、新しい版でだけ正解になったのが15問、古い版でだけ正解になったのが2問です。以前に、RTX 3090 と EVO-X2 で同じモデルの点数が違うと書いたことがありましたが、その差は機体ではなく、ollama のバージョンの違いで再現しました。
採点のしかたが原因ではないかも確かめました。採点器を作り直して、保存してある回答を採点し直したところ、算術の測定では、古い採点と新しい採点で結果が違う問はありませんでした。バージョンによる点数の差は、採点の誤りではありません。
考察
- 考えさせると、どのモデルも天井に近づきます。「賢さ」を比べるときは、考えさせない場合の正答率と、考えさせた場合の生成トークン数を、2つ並べて見るほうが、情報が多いと考えます。
- 誤答は、考えすぎ（トークンが極端に長い）か、早い諦め（短い）に分かれました。点数だけでは、この違いが見えません。
- ollama のバージョンが違うと、同じモデルでも点数が変わります。機体やバージョンが違う測定を、1つの表に混ぜて順位を付けるのは避けたほうがよいと考えます。当ブログの過去の数字は、測った機体とバージョンを添えて読む必要があります。
限界
- 各問1回の測定で、信頼区間は付けていません。小さな点数の差は、順位の根拠にできません。
- 算術は計算力の一部で、モデルの賢さ全体ではありません。設問の見直しは途中で、算術以外の新しい列（確信度、桁数を増やす問題など）は、この記事の結果に入れていません。
- ollama のバージョンの実験は、1つの小さなモデル（nemotron-3-nano:4b）と1つの機体だけです。他のモデルで同じ大きさの差が出るかは、確かめていません。また、ollama の中間のバージョン（0.30.5 と 0.32.15 の間）で、いつ点数が変わったかは調べていません。
- 考えさせた場合の上限（30分）を超えたモデルは、点数を作れませんでした。
まとめ
算術96問では、考えさせると正答率が 0.48〜0.67 から 0.90〜1.00 に上がり、天井に近づきました。同じモデルでも、ollama の0.30.5と0.32.15で 0.479 と 0.615 に変わりました。賢さの数字は、考えさせたか、機体と ollama のバージョンは何か、とセットで読む必要があります。
関連する記事
- ローカルLLM おすすめモデル 2026: 賢さと速さの数字を使った、おすすめの記事です。
- ローカルLLM モデルの選び方〜5つの軸: 測り方の考え方の記事です。