Editing Openai/69666c6a-17e0-8013-a33a-7965005f7b6a (section)

====== 4.2. Две величины вместо одной: «битовый объём модели» и «остаточные биты на данные» ======

Для заданных B, F, D_var рассмотрите наилучший (в смысле минимальной суммарной длины двухчастного кода) предсказатель, который вы можете получить в этом бюджете.

Определите:
* <code>L_model(B; F, D_var)</code> — битовый объём модели Число бит, необходимое, чтобы описать выбранную вероятностную модель так, чтобы её можно было воспроизвести в рамках заданной вычислимости (в статье это длина описания «программы модели» в оптимальном двухчастном коде). arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/html/2601.03220v1|publisher=arxiv.org|access-date=2026-01-15}}</ref> Практическая интерпретация для инженера: сколько информации «перешло» из данных в параметры/структуру предсказателя при обучении в этом бюджете.
* <code>L_resid(B; F, D_var)</code> — остаточные биты на данные Ожидаемая длина кодирования отложенных примеров при наличии этой модели. В ML‑терминах это пропорционально средней отрицательной лог‑вероятности (кросс‑энтропии) на тесте. arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/html/2601.03220v1|publisher=arxiv.org|access-date=2026-01-15}}</ref> Практическая интерпретация: то, что даже лучшая вычислимо‑достижимая модель из вашего семейства всё ещё не умеет предсказывать (детали, шум, непредсказуемость).

Сумма L_total = L_model + L_resid — «сколько бит нужно, чтобы описать данные при ваших вычислениях», где часть бит платится «за модель», а часть — «за оставшуюся непредсказуемость». arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/html/2601.03220v1|publisher=arxiv.org|access-date=2026-01-15}}</ref>