Editing Openai/69747865-1f8c-8006-b944-019c41b1784a (section)

==== 4) 「過学習してない」の主張（ホールドアウトの切り分け） ====

この投稿の肝はここです。
* Tier 4の48問は、事情により 2つの集合に分かれている： - OpenAIが問題と解答に独占アクセスできる28問（= 非ホールドアウト） - Epochが非公開で保持する20問（ホールドアウト）
* GPT-5.2 Proは - 非ホールドアウト：5/28 = 18% - ホールドアウト：10/20 = 50%
* つまり「OpenAIが中身を知り得る側で強く、未知側で弱い」という 過学習っぽいパターンではなく、むしろ逆。 → “over-fitting（過学習）の証拠はない” と結論しています。

（ただし、ここは“証拠がない”という言い方で、統計的に厳密な証明というより「少なくとも疑う材料は見えない」程度のニュアンスです。）