Editing Openai/69265508-3618-8006-8039-974c385cf126 (section)

==== 3. 구조화된 한국어 요약 ====

===== 연구 배경과 문제 정의 =====
* 분야: 대규모 신경망 학습, 진화 전략(Evolution Strategies, ES), 강화학습, LLM 파인튜닝, 순수 정수(integer-only) 모델 학습.
* 핵심 문제: - ES는 비미분 가능 모델·목적 함수도 최적화할 수 있고, 병렬화에 매우 잘 맞는 장점이 있어 대형 모델 훈련의 유망한 대안으로 자주 언급됩니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 하지만 현대 딥러닝에서 파라미터는 대부분 거대한 행렬이고, naive ES는 각 개체마다 전체 파라미터 행렬을 복제하고 가우시안 노이즈를 더해야 하므로, 메모리와 연산량이 파라미터 수 × population size에 비례해서 터져 버립니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 특히 수십억(parm ~ billions) 파라미터 모델과 큰 population을 함께 쓰고 싶으면, matrix perturbation과 batched matmul 비용이 지배적이 되어 ES가 사실상 불가능해집니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>

=> 따라서, 저자들이 보는 핵심 질문은:

: “ES의 장점(비미분 가능, 병렬화 친화)을 유지하면서, 초대형 모델 및 큰 population에서도 실제로 돌아갈 수 있을 만큼 메모리·연산 효율을 어떻게 확보할까?”

===== 기존 접근법과 그 한계 =====
* 기존 ES (OpenES 등) - 각 파라미터 행렬 WWW에 대해, 가우시안 노이즈 행렬 E∈Rm×nE \in \mathbb{R}^{m\times n}E∈Rm×n 를 샘플링 후 W+σEW + \sigma EW+σE로 업데이트. - population 크기가 N이면, N개의 풀랭크 행렬을 따로 저장하고, 각자에 대해 matmul을 수행해야 합니다. 이때 per-layer 메모리 오버헤드는 mnmnmn, 연산량은 O(mnN).arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 결과적으로 초대형 모델에서는 메모리 복제와 텐서 이동 비용이 병목이 됩니다.
* 기존 LLM 파인튜닝 / LoRA - gradient 기반 학습에서는 LoRA가 저랭크 행렬 A,BA,BA,B 를 학습해서 W+AB⊤W + AB^\topW+AB⊤ 형태로 파라미터를 효율적으로 바꾸는 기법으로 널리 사용됩니다. 이는 학습 파라미터 수를 mnmnmn에서 r(m+n)r(m+n)r(m+n)으로 줄여 줍니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 그러나 ES 쪽에서는 LoRA 스타일의 저랭크 노이즈를 체계적으로 쓰면서, 이론까지 갖춰 준 방법은 없었습니다.

즉, 기존에는
* ES는 표현력·견고성은 좋은데 너무 비싸고,
* LoRA는 효율적이지만 gradient가 있어야 사용 가능했습니다.

===== 제안하는 방법/모델/이론의 핵심 아이디어 =====

====== 3.1 EGGROLL: 저랭크 ES 알고리즘 ======

논문의 주인공은 EGGROLL(Evolution Guided General Optimization via Low-rank Learning) 입니다. 요지를 풀어서 쓰면:
# 풀랭크 노이즈 대신 저랭크 노이즈 사용 - 기존 ES: E∼N(0,I)E \sim \mathcal{N}(0, I)E∼N(0,I), W′=W+σEW' = W + \sigma EW′=W+σE. - EGGROLL: - A∈Rm×r,B∈Rn×rA \in \mathbb{R}^{m\times r}, B \in \mathbb{R}^{n\times r}A∈Rm×r,B∈Rn×r 를 i.i.d. 대칭 분포에서 샘플링하고, - E=1rAB⊤E = \sqrt{\frac{1}{r}}AB^\topE=r1AB⊤ 를 perturbation으로 사용.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 이렇게 하면 레이어당 노이즈 저장량이 mn→r(m+n)mn \rightarrow r(m+n)mn→r(m+n) 로 줄고, - 추가 연산량도 O(mnN) → O((m+n)rN) 로 줄어듭니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# 업데이트는 여전히 풀랭크 - population에 대해 여러 개의 저랭크 업데이트 EiE_iEi 를 평균하면, - 최종 업데이트 랭크는 rank(∑iEi)≤min⁡(Nr,m,n)\text{rank}(\sum_i E_i) \le \min(Nr, m, n)rank(∑iEi)≤min(Nr,m,n) 이 됩니다. - 실험에서는 Nr가 m,n보다 크도록 잡아서 사실상 풀랭크 업데이트가 되게 합니다. 즉, 계산은 저랭크처럼, 업데이트는 풀랭크처럼.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# 하드웨어 친화 구현 - LoRA와 유사하게, 각 개체의 저랭크 A,BA,BA,B 를 “어댑터”로 보고, - 기저 모델의 forward activation을 공유하면서, 특수한 batched matmul 커널로 모든 개체의 AB⊤AB^\topAB⊤를 한 번에 적용합니다. - 또한 counter-based RNG(예: JAX PRNG)를 사용해 필요할 때마다 노이즈를 재생성하므로, 노이즈 자체를 메모리에 오래 들고 있을 필요가 없습니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# 알고리즘 레벨에서의 ES 구조는 그대로 - Salimans et al. 식의 병렬 ES 알고리즘을 계승하되, - “노이즈 생성 + 평가 + 가중 평균” 파이프라인이 모두 저랭크 버전으로 바뀝니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>

====== 3.2 이론: O(1/r) 수렴하는 저랭크 ES 업데이트 ======

저자들은 “이 저랭크 업데이트가 원래 풀랭크 ES 업데이트를 얼마나 잘 근사하는가?” 를 수식으로 분석합니다. 핵심은:
* 우선 ES를 행렬 가우시안 분포 위의 정책으로 다시 쓰고, 그 gradient를 score function(∇ log p) 형태로 표현합니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 저랭크 케이스에서는 직접적인 density p(E)p(E)p(E)를 쓰기 어렵기 때문에, - Z=1rAB⊤+ϵZ = \sqrt{\frac{1}{r}}AB^\top + \epsilonZ=r1AB⊤+ϵ (여기서 ε는 작은 가우시안 잡음) 형태로 완전히 정의된 분포 p(Z)p(Z)p(Z)를 만들고, - 이 분포의 score function을 이용해 gradient를 작성합니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 이론의 메인 결과(Theorem 2): - 적당한 조건(피트니스 f가 bounded, 노이즈 분포가 대칭 등) 하에서, - 저랭크 근사 gradient g^rLR \hat{g}^{LR}_rg^rLR와 진짜 풀랭크 ES gradient gTrueg_\text{True}gTrue 의 거리(프로베니우스 노름)가 ∥g^rLR−gTrue∥F=O ⁣(1r)\| \hat{g}^{LR}_r - g_\text{True} \|_F = O\!\left(\frac{1}{r}\right)∥g^rLR−gTrue∥F=O(r1) 로 줄어든다고 증명합니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 이 O(1/r)는 일반적인 “파라미터 수 r이 증가할 때 중심극한정리(CL T)가 주는 O(1/√r)보다 빠른” 수렴률로, - 그 이유는 대칭 분포를 쓴 덕에 홀수차 누적(generalized cumulant)이 0이 되어, 4차부터 지배되기 때문이라고 설명합니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 또한, 실제 marginal 분포 p(zij)p(z_{ij})p(zij)에 대해 score × density를 그림 3에 시각화해 보면, - r=1에서도 그럭저럭 괜찮은 근사이고, r≥10 정도면 거의 limit 가우시안과 구분이 안 되는 것을 보여 줍니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>

이론적으로 '''“랭크가 작아도 생각보다 훨씬 괜찮다”'''는 근거를 준 셈입니다.

===== 실험 설정(데이터셋, 비교 대상, 평가 지표 등)과 주요 결과 =====

논문은 세 축의 실험을 합니다.

====== 3.3.1 순수 정수 RNN 언어모델 프리트레이닝 (6.1 섹션) ======

목표: “EGGROLL이 gradient 없이도 순수 정수(int8-only) 비선형 RNN 언어모델을 안정적으로 프리트레이닝 할 수 있는가?”arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 모델 아키텍처: EGG (Evolved Generative GRU) - 6층 RNN, hidden dimension 256, 문자 단위(char-level) 언어모델.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 제약 조건: 1. Pure Integer Training: - 모든 weight는 int8, accumulation은 int32; 학습 전체에서 float로 캐스팅을 한 번도 하지 않음.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> 2. Nonlinear RNN: - Transformer/SSM 대신 GRU 계열(minGRU 변형)을 사용. - EGGROLL은 BPTT가 필요 없으므로 무한 길이 시퀀스도 이론상 가능.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> 3. 명시적 activation 제거: - ReLU나 tanh를 모두 제거하고, int8의 포화(saturation) 연산에서 나오는 비선형성만 사용.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - LayerNorm도 sqrt를 피하기 위해 L2 대신 L1 기반 변형을 쓰고, self-attention은 custom GRU로 대체.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 데이터 & 학습 설정 - 데이터셋: minipile (The Pile의 소형 버전) 문자 단위 예측.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - Truncated ES: population member마다 100 토큰마다 업데이트, hidden state는 문서 경계에서만 리셋.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - Population size를 64에서 262,144(2¹⁸) 까지 스케일링.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 평가 지표 - Test loss (bits per byte).
* 주요 결과 - 그림 2(b): population size가 커질수록 loss 곡선이 매끄럽고, 최종 테스트 loss가 개선됩니다. - 최선의 테스트 loss는 약 3.41 bits/byte.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 가장 큰 population 262,144는 Salimans et al.(2017)의 가장 큰 ES 실험보다 두 자릿수(×100) 정도 더 큰 population이지만, 단일 GPU로 학습 가능했다고 강조합니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - population을 8배 늘릴 때마다 loss가 약 0.4 정도씩 꾸준히 떨어지는 패턴을 관찰(물론 이 패턴은 결국 한계에 도달).arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 정수-only, 비선형 RNN, activation 제거 조건임에도 훈련이 매우 안정적이고, nan이나 큰 스파이크 없이 잘 수렴합니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>

====== 3.3.2 강화학습 실험 (6.2 섹션) ======

목표: “EGGROLL이 tabula-rasa RL에서 기존 OpenES, PPO와 비교해 성능/속도 면에서 어떤지?”arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 환경 & 네트워크 - 환경 스위트: Navix, Craftax, Brax, Kinetix, Jumanji 등 다양한 RL 벤치마크에서 총 16개 환경 선정.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 정책 네트워크: 3층, 각 256 유닛의 MLP.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - PPO는 기존 구현을 사용; EGGROLL과 OpenES는 동일한 파이프라인에서 구현.
* 비교 대상 알고리즘 - EGGROLL (저랭크 ES) - OpenES (풀랭크 ES) - PPO (gradient 기반 정책경사)
* 하이퍼파라미터 최적화 - 각 환경-알고리즘 쌍마다, 주요 하이퍼파라미터 범위를 정하고 20회 랜덤 서치. - 각 trial에서 최종 평균 return이 가장 높은 설정을 고른 뒤, - 그 설정으로 10개의 seed를 돌려 평균과 standard error를 보고.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 평가 지표 - PPO 성능으로 normalized return (PPO=1 기준 상대 성능).arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 학습 wall-clock 시간과 throughput(초당 경험 수).
* 주요 성능 결과 - 16개 환경 기준으로 EGGROLL vs OpenES 비교: - 7개 환경은 비슷(competitive), - 2개 환경에서는 EGGROLL가 열세, - 7개 환경에서는 EGGRoll가 우세.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - PPO와의 비교에서는 환경에 따라 우열이 갈리지만, EGGROLL은 PPO와 비슷한 성능 수준을 유지하면서도 ES 계열 중에서는 압도적인 속도를 보여 줍니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 속도(throughput) 결과 - 그림 2(a): experience throughput을 순수 inference 최대 배치 throughput=100으로 정규화했을 때, - EGGROLL ≈ 91, - PPO ≈ 34, - OpenES ≈ 0.41.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 세부 Appendix 실험에서는 환경에 따라 OpenES 대비 2배~40배 이상 빠른 케이스도 보고됩니다 (예: Jumanji Snake에서 약 40×).arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>

즉, '''“풀랭크 ES보다 훨씬 빠르고, 성능도 비슷하거나 오히려 좋은 경우가 많다”'''는 메시지입니다.

====== 3.3.3 LLM Reasoning 파인튜닝 (6.3 섹션) ======

목표: “GRPO 같은 gradient 기반 RLHF-ish 방법과 비교했을 때, EGGROLL이 LLM reasoning task에서 경쟁력이 있는가?”arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 모델 & 태스크 - 모델: RWKV-7 계열 recurrent LLM (1.5B, 7B 등). - RNN 구조라서 KV cache가 고정 크기라, population 병렬화에 특히 잘 맞습니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - 태스크: - Countdown (수조합 게임) - GSM8K (수학 문제 reasoning)
* 비교 대상 - EGGROLL vs GRPO (Group Relative Policy Optimization, RLHF 계열 방법).
* 병렬화 설정 - Countdown (RWKV-7 1.5B, 단일 GPU): - EGGROLL: GPU당 1024 개체 병렬 생성 - GRPO: GPU당 32 rollouts - GSM8K (RWKV-7 7B, 8 GPUs): - EGGROLL: 전체 8096 병렬 generation (GPU당 1024) - GRPO: 전체 256 (GPU당 32).arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 스코어링 방식 - 하나의 batch에 여러 noise 방향 EiE_iEi와 여러 질문 q_j가 섞여 있는 상황에서, - 질문별로 accuracy를 모아 z-score를 계산하고, 이걸 평균해서 각 noise 방향의 점수를 산출하는 방식.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
* 결과 - Countdown: - 동일 하드웨어·벽시계 시간 기준, EGGROLL이 약 35% validation accuracy, GRPO는 약 23% 정도에서 수렴.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref> - GSM8K: - 그림 5(b)에서 EGGROLL이 GRPO 대비 더 높은 validation score에 도달하며, 속도도 경쟁력 있음.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>

이 실험은 '''“ES 기반 방법이 LLM reasoning에도 통한다”'''는 것을, GRPO라는 강한 baseline과 비교해 보여 줍니다.

===== 논문의 주요 기여점 정리 =====

논문에서 주장하거나, 텍스트상 명확해 보이는 기여를 정리하면:
# 초대형 모델·대형 population용 저랭크 ES 알고리즘 EGGROLL 제안 - LoRA 스타일 저랭크 행렬 A,BA,BA,B를 노이즈로 사용해, 메모리·연산 오버헤드를 mn→r(m+n)mn → r(m+n)mn→r(m+n) 및 O(mnN → (m+n)rN) 으로 줄이면서, 최종 업데이트는 풀랭크에 가깝게 유지.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# 저랭크 ES 업데이트의 정확한 이론 분석 - matrix Gaussian ES 공식화와 함께, 저랭크 근사 gradient가 풀랭크 gradient에 O(1/r) 로 수렴한다는 결과를 제시(Edgeworth expansion 사용).arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# 실질적으로 추론 속도에 근접하는 ES 학습 시스템 구현 - LoRA-style batched matmul, counter-based RNG 등을 활용해, billion-parameter 모델에서 추론 throughput의 ~91%에 해당하는 학습 속도를 달성.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# 새로운 순수 정수 언어모델 EGG와 그 대규모 ES 프리트레이닝 시연 - activation을 전부 제거하고, int8 saturation만으로 비선형성을 구현한 GRU 계열 RNN을, population 262k까지 스케일링하여 단일 GPU에서 안정적으로 학습.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# RL 및 LLM reasoning에서의 폭넓은 실증 평가 - 다양한 RL 스위트 16개 환경에서 OpenES와 비교해 비슷하거나 우월한 성능을 보이며, LLM reasoning(GSM8K, Countdown)에서는 GRPO 대비 더 높은 validation 성능을 보여, ES가 실제 최신 LLM 파인튜닝 워크로드에서도 경쟁력이 있음을 입증.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>

===== 한계점 및 향후 연구 방향 =====

논문과 결론에서 직접 언급하거나 암시하는 한계/미완 부분은:
# 이론이 r=1 성능을 완전히 설명하지는 못함 - 이론은 r → ∞ 일 때의 수렴률(O(1/r))을 다루고 있으나, 실험에서는 r=1에서도 매우 잘 동작합니다. - 결론에서 “r=1에서의 성공을 설명하는 더 깊은 이론 분석이 필요하다”고 명시합니다.arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# ES 기반 최적화의 샘플 효율성 문제 - 논문은 throughput와 wall-clock을 강조하지만, gradient-based 방법 대비 환경 상호작용 수(또는 데이터 사용량)가 얼마나 효율적인지는 상대적으로 덜 논의됩니다. (Appendix에서 일부 데이터 효율성 ablation이 있긴 하지만, SOTA gradient 방법과 장기적 비교는 제한적.)
# 실험 도메인의 폭과 범용 최적화로서의 검증 - RL/LLM/언어모델이라는 세 영역에서는 설득력 있는 결과를 보여주지만, - “일반적인 blackbox 최적화”의 매우 다양한 도메인(e.g., 구조 최적화, 그래프, symbolic program 등)에 대한 검증은 향후 과제로 남습니다. (논문도 future work에서 neurosymbolic 시스템, end-to-end 구성 등 더 복잡한 시스템을 제안).arXiv<ref>{{cite web|title=arXiv|url=https://arxiv.org/pdf/2511.16652|publisher=arxiv.org|access-date=2025-11-26}}</ref>
# 실제 대규모 클러스터·서비스 환경에서의 통합 - 논문은 GH200/H100, A100 등 하드웨어에서의 throughput을 보여주지만, - 실제 프로덕션 트레이닝 스택(예: 거대 모듈식 모델, mixture-of-experts, 거대한 데이터 파이프라인 등)에 EGGROLL을 통합하는 세부적인 이슈(에러 복원, elastic training, fair scheduling 등)는 다루지 않습니다.

논문이 명시적으로 쓰지는 않았지만, 합리적인 추가 해석으로는:
* RLHF 파이프라인 전체를 ES 기반으로 대체할 수 있는가? - 이 논문은 reasoning 태스크에 한정해 GRPO와 비교하지만, 실제 RLHF는 preference modeling, reward modeling, DPO/SFT 등 복잡한 단계가 있습니다. 이들을 전부 ES 기반으로 바꾸려면 추가 설계가 필요합니다.
* 저랭크 구조의 한계 - 현재 설정에서는 population×rank가 충분히 커서 업데이트가 사실상 풀랭크가 되지만, 더 극단적인 저랭크(작은 population, 작은 r) 환경에서 학습 안정성·표현력이 어디까지 유지되는지는 별도의 분석이 있을 수 있습니다.