OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers

Optimizer selection for large-scale model training has become a system-level design decision constrained jointly by compute, memory, tuning budget, and task diversity, yet the landscape of over one hundred methods remains fragmented. We therefore present OmniOpt, a unified survey and benchmark cookbook of optimizers for the research community. OmniOpt rests on four coupled components. First, we treat every optimizer update as a structured transformation through a five-stage meta-pipeline, and show that most methods engage only one or two of these stages. Second, we use norm-constrained linear minimization oracles (LMOs) to unify different optimizers. Third, these two views ground a dual-dimension taxonomy, one dimension assigning each method to a mechanism family and the other recording the measurable training objectives it aims to improve. Fourth, and at the core of this paper, we instantiate the full taxonomy in a unified cross-domain benchmark spanning representative optimizers, model scales, and training regimes from language model pretraining to image classification, systematically analyzing each method family across multiple effect objectives and laying out their trade-offs. OmniOpt thus supplies the research community with an operational coordinate system for selecting optimizers under explicit mechanism and objective assumptions, and charts a direction for the future development of the optimizer community.

한 줄 요약

OmniOpt은 대규모 모델 학습을 위한 최적화기 벤치마킹과 분류 체계를 제시한다.

핵심 기여도

최적화기 업데이트를 5단계 메타 파이프라인으로 구조화하여 대부분의 방법이 단 1~2단계만 활용함을 밝힘.
노름 제약 선형 최소화 오라클(LMO)을 도입하여 다양한 최적화기를 통일.
메커니즘 가족과 훈련 목적 기반의 이중 차원 분류 체계를 제시.
언어 모델 사전 학습부터 이미지 분류까지 대표적 최적화기, 모델 규모, 훈련 조건을 아우르는 벤치마킹을 구현.

핵심 아이디어

기존 최적화기 연구는 수백 개의 방법이 산만하게 존재하며, 선택 기준이 명확하지 않다. OmniOpt는 최적화기 업데이트 과정을 5단계 메타 파이프라인으로 모델링함으로써, 각 방법이 어떤 단계에 집중하는지를 명확히 파악할 수 있도록 했다. 또한, LMO를 통해 다양한 최적화기의 수학적 구조를 통일적으로 표현함으로써, 비교와 분류를 간소화했다. 이는 최적화기 선택을 메커니즘과 목적 기반의 명확한 체계로 전환하는 데 기여한다.

기술적 접근법

최적화기 업데이트를 5단계 메타 파이프라인(예: gradient clipping, preconditioning, momentum, projection, learning rate scaling)으로 분해.
LMO(노름 제약 선형 최소화 오라클)를 사용하여 다양한 최적화기의 수학적 표현을 통일.
메커니즘 가족(예: first-order, second-order, adaptive)과 훈련 목적(예: convergence speed, memory footprint)을 기준으로 이중 분류 체계 구축.
언어 모델 사전 학습, 이미지 분류 등 다양한 도메인에서 대표 최적화기와 모델 규모를 대상으로 벤치마킹 수행.

주요 결과

5단계 메타 파이프라인 분석을 통해 대부분의 최적화기들이 단 1~2단계만 활용함을 밝힘.
LMO 기반 통일 표현을 통해 다양한 최적화기 간 비교가 용이해짐.
이중 분류 체계를 통해 각 최적화기의 메커니즘과 목적을 명확히 매핑.
벤치마킹 결과, 특정 최적화기는 특정 목적(예: 수렴 속도)에서는 우수하지만 다른 목적(예: 메모리 효율)에서는 열등함을 확인.

의의 및 한계

OmniOpt는 최적화기 선택을 명확한 메커니즘과 목적 기반으로 전환함으로써 연구자와 엔지니어에게 실질적인 가이드를 제공한다. 또한, 다양한 도메인과 모델 규모에서의 비교 분석은 최적화기의 일반화 성능을 평가하는 데 기여한다. 그러나 벤치마킹은 특정 데이터셋과 모델만을 대상으로 하므로, 모든 상황에 일반화할 수는 없다는 한계가 있다.

실용적 활용

OmniOpt는 대규모 모델 학습 시 최적화기 선택에 있어 연구자와 엔지니어에게 체계적인 기준을 제공할 수 있다. 특히, 메모리 효율, 수렴 속도, 학습 안정성 등 다양한 목표를 고려한 최적화기 선택에 유용하게 활용될 수 있다.