Editing Openai/692aba85-5b10-8006-817a-d5a83b020f8e (section)

===== 4.1 ベンチマーク =====

表2（p19）に、主要モデルとの比較がまとまっています。INTELLECT_3_Technical_Report

| モデル                      | AIME24 | AIME25 | LCB v6 | GPQA | HLE   | MMLU-Pro |
| ------------------------ | ------ | ------ | ------ | ---- | ----- | -------- |
| INTELLECT-3              | 90.8   | 88.0   | 69.3   | 74.4 | 14.6  | 81.9     |
| GLM-4.5-Air (post-train) | 84.6   | 82.0   | 61.5   | 73.3 | 13.3  | 73.9     |
| GLM-4.5 (base)           | 85.8   | 83.3   | 64.5   | 77.0 | 14.8  | 83.5*    |
| GLM-4.6                  | 92.0   | 90.3   | 73.0   | 78.8 | 13.3* | 83.1     |
| DeepSeek R1-0528         | 83.2   | 73.4   | 62.5   | 77.5 | 15.9  | 75.3     |
| DeepSeek v3.2            | 88.1   | 84.7   | 71.6   | 81.4 | 17.9  | 84.6     |
| GPT-OSS 120B             | 75.8   | 77.7   | 69.9   | 70.0 | 10.6  | 67.1     |

* 一部スコアは AA Index 由来。

ポイントとしては：
* 同じGLM-4.5-Airベースでも、Prime Intellect版RLの効果がかなり大きい - 例：LCB v6 で 61.5 → 69.3（+7.8pt） - MMLU-Pro でも +8pt 程度
* 3倍大きい GLM-4.5 / 4.6 に対しても、AIME や LCB では肉薄 or 逆転
* 一方、GPQA / HLE / MMLU-Pro の一部では DeepSeek v3.2 がまだ上 → INTELLECT-3 は「GLM系の中では非常に強いが、全体トップではない」という位置づけ

また、全モデル同一設定で評価するために、
* 可能な限り各社の公式APIを使用
* Environments Hub 上の公開実装を用いて再現可能性を確保

していると明記されています。