Editing Openai/69675db8-b8dc-8013-8d6c-c3552df72868 (section)

===== ML.4:1 - Problem frame — Когда «перплексия лучше» не отвечает на вопрос «какие данные покупать/генерировать/упорядочивать» =====

Команды, которые обучают большие модели (языковые, мультимодальные, рекомендательные), регулярно принимают решения уровня «портфель данных»:

* '''какие источники''' включить в смесь (веб‑текст, код, диалоги, доменные документы, логи, изображения),
* '''какие преобразования''' применить (дедупликация, фильтры, синтетические добавки, симуляции),
* '''в каком порядке''' предъявлять примеры (куррикулум, перестановки полей, последовательность задач),
* и всё это '''под ограничением''' по FLOPs/времени/деньгам.

Типичная практика — опираться на '''среднюю потерю на отложенной выборке''' (для LM — кросс‑энтропия/перплексия) и считать, что «если потеря ниже, то данные лучше». Статья Finzi et al. (2026) показывает, что такая опора неполна: одна и та же величина потерь может скрывать радикально разное количество «переносимых в параметры» зависимостей, и именно эта «переносимая часть» часто важнее для переносимости на задачи вне распределения обучения. ([arXiv][1])

В этой же работе демонстрируется, что:

* детерминированная генерация (симуляции/само‑игра/процедурные миры) может давать данные, которые '''требуют более сложной модели''', чем «правила генератора», если обратная реконструкция скрытых причин вычислительно трудна; ([arXiv][1])
* порядок и факторизация наблюдений (что показывать «сначала») могут менять то, какие вычислимые модели выгодно выучиваются при заданных FLOPs, и это коррелирует с переносимостью; ([arXiv][1])