Editing Openai/69666c6a-17e0-8013-a33a-7965005f7b6a (section)

====== Show 1 (System): выбор смеси данных для предобучения LLM под бюджет ======

Контекст: планируется обучение трансформера; бюджет и стратегия подбираются с оглядкой на compute‑оптимальность (см. scaling‑законы Kaplan 2020 и Hoffmann 2022). arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/abs/2001.08361|publisher=arxiv.org|access-date=2026-01-15}}</ref>

Кандидаты данных:
* веб‑корпус (например, FineWeb‑подобная очистка веба), arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/abs/2406.17557|publisher=arxiv.org|access-date=2026-01-15}}</ref>
* код,
* доменные PDF/тикеты,
* синтетические диалоги (генерация моделью‑предшественником).

Шаги:
# Фиксируем B (FLOPs) и семейство F (архитектура, токенизация, оптимизатор).
# Для каждого D_var строим профиль ⟨L_model, L_resid⟩ в режиме A (по кривой потерь). arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/html/2601.03220v1|publisher=arxiv.org|access-date=2026-01-15}}</ref>
# Для 2–3 финалистов подтверждаем ранжирование режимом B (учитель→ученик). arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/html/2601.03220v1|publisher=arxiv.org|access-date=2026-01-15}}</ref>
# Формируем смесь: - увеличиваем долю источников, которые дают высокий L_model при допустимом L_resid, - уменьшаем долю источников, где L_resid доминирует (много непредсказуемых деталей при текущем бюджете).

Результат для менеджера: решение оформляется как «портфельная карточка» с явным B, явным F, и таблицей Profile(D_var | B, F).