Editing Openai/69256df6-133c-8005-ae25-fcf7c8af0f22 (section)

==== 考察 ====
* 通信スケジューリング (Communication Scheduling) - Google の “Optimizing Compute and Communication Scheduling with XLA” ブログは、XLA が通信タイミングを計算と重ねる (overlap) 仕組みを明示的に設計している根拠。  Google Open Source Blog<ref>{{cite web|title=Google Open Source Blog|url=https://opensource.googleblog.com/2024/05/|publisher=Google Open Source Blog|access-date=2025-11-26}}</ref> - また、GSPMD 論文 (Xu et al.) でもスケジューリングと通信を扱う仕組みが語られている。  arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2105.04663|publisher=arxiv.org|access-date=2025-11-26}}</ref> - Concerto 論文 (2025) は、より最近の「通信スケジューリング + 最適化」を自動化する研究として、良いエビデンス。
* テンソル分割 (Sharding) ／再分割 (Resharding) - GSPMD はシャーディング注釈を全グラフに伝搬し、collective を挿入。  arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2105.04663|publisher=arxiv.org|access-date=2025-11-26}}</ref> - PartIR や Shardy は、より柔軟なシャーディング戦略 (ユーザー定義 or 自動) を提供し、分割後のテンソル再配置 (resharding) を考慮 → 通信最適化に貢献。
* 重複実行 (Overlap)／パイプライン並列 - GSPMD は “prioritize communication vs compute” のような設計で、通信と演算のオーバーラップを最適化する能力を持つ。  arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2105.04663|publisher=arxiv.org|access-date=2025-11-26}}</ref> - JaxPP 論文も、タスクベースで通信を推論 → スケジューリングしてリソース管理を行うことで MPMD + pipeline parallel を効率化。  OpenReview<ref>{{cite web|title=OpenReview|url=https://openreview.net/pdf?id=U9oaDkwZs3|publisher=openreview.net|access-date=2025-11-26}}</ref>