Editing Openai/692aba85-5b10-8006-817a-d5a83b020f8e (section)

====== 2.1.8 Mixture-of-Experts の効率化 ======

MoE 層には torchtitan の実装を使い、grouped GEMM カーネルで専門家をまとめて実行。
* 実験の結果、 - シーケンス長と hidden dim が大きい今回の設定では、 既に grouped GEMM が十分に飽和しており、 - Expert Parallelism（EP）を入れてもスループットがむしろ下がることが分かった（scatter/gather オーバーヘッドのみ増える）。INTELLECT_3_Technical_Report
* 図5（p9）のベンチマークでは、 シーケンス長 32k〜65k では 128 experts まではTFLOPSが飽和領域にとどまるため、EPは不要という判断。

推論側では HF の MoE 実装を使う必要があるため、トレーナ側の state dict をHF形式にオンザフライ変換して vLLM に渡す工夫もしています。