Beyond Simply Environment Scaling: Designing Effective Environment Distributions for Multimodal Agent Learning

Recent works train agents by constructing large-scale multimodal environment pools. However, we find that simply increasing the number of multimodal environments does not always benefit. We further analyze the limitations in current multimodal environment distributions through a series of experiments. Based on these findings, we study how to build more effective training environment distributions from two dimensions: **diversity** and **difficulty structure**. For diversity, we propose **Ability-aware Environment Selection (AES)** to obtain diverse environment sets. For difficulty structure, we propose **Hierarchical Difficulty Curriculum (HDC)**, which organizes curriculum learning through two difficulty levels: harness weakening and state-scale progression. Experiments show that AES and HDC effectively improve multimodal agent training.

한 줄 요약

AES와 HDC를 통해 다중모달 에이전트 학습의 환경 분포를 효과적으로 설계하는 방법을 제안한다.

핵심 기여도

**AES**(Ability-aware Environment Selection)를 통해 환경 집합의 다양성과 최적화 충돌을 동시에 고려한 선택 방법을 제안.
**HDC**(Hierarchical Difficulty Curriculum)를 통해 시각 상태 추출과 월드 모델링이라는 다중모달 에이전트의 핵심 한계를 해결하는 계층적 난이도 학습 프레임워크를 제시.
AES와 HDC를 결합한 경우 평균 **143.2%**의 상대적 성능 향상을 달성.
AES 내부 요소(중복 제어, 충돌 제어)와 HDC의 두 축(하네스 약화, 상태 규모 진행)이 모두 성능에 유의미한 기여를 함.

핵심 아이디어

기존 연구는 다중모달 환경의 수량적 확장을 강조했으나, 본 연구는 환경 분포의 질적 효과성을 두 가지 차원—**다양성**(diversity)과 **난이도 구조**(difficulty structure)—에서 분석한다.

**AES**는 환경의 메타-능력 프로파일을 기반으로, 에이전트가 학습하는 핵심 능력을 반영한 환경 선택을 수행한다. 이는 단순히 환경 설명의 유사도가 아닌, 학습 과정에서의 실제 행동 궤적과 능력 분해를 기반으로 한다.

**HDC**는 다중모달 에이전트의 핵심 한계인 **시각 상태 추출**과 **월드 모델링**을 해결하기 위해, **하네스 약화**(harness weakening)와 **상태 규모 진행**(state-scale progression)이라는 두 축을 결합한 계층적 난이도 학습을 제안한다. 이는 기존 텍스트 환경에서 사용되는 단일 난이도 조절 방식과 구별된다.

기술적 접근법

**AES**: 환경의 메타-능력 프로파일을 생성하고, 이를 기반으로 **메타-능력 커버리지**(meta-ability coverage)를 최대화하며, **프로파일 유사도**(profile similarity)와 **기계적 그라디언트 분석**(mechanistic gradient analysis)을 통해 중복과 충돌을 제어.
**HDC**:
**하네스 약화**(harness weakening): 텍스트 보조 정보를 점진적으로 제거하여 시각 상태 추출 능력을 향상.
**상태 규모 진행**(state-scale progression): 환경의 규모를 점진적으로 확장하여 월드 모델링 능력을 향상.
**실험 환경**: 200개의 다중모달 환경을 기반으로 AES와 HDC를 평가.
**하이퍼파라미터**: AES 내부 요소(중복, 충돌 제어)와 HDC의 두 축을 독립적으로 실험하여 상호작용 효과를 분석.

주요 결과

AES를 사용한 환경 집합은 전체 환경 풀보다 **적은 환경 수**로 더 높은 성능을 달성.
HDC는 **직접 학습**(direct training) 및 **기존 규모 기반 커리큘럼**(scale-only curriculum) 대비 **더 안정적이고 높은 성능**을 보임.
AES와 HDC를 결합한 경우, 평균 **143.2%**의 상대적 성능 향상을 달성.
AES 내부 요소 실험에서, **중복 제어** 제거 시 상대 성능이 40.3% → 25.3%, **충돌 제어** 제거 시 40.3% → 2.8%로 급격히 감소.
HDC의 하네스 축만 사용 시 평균 18.1%, 규모 축만 사용 시 11.5%의 상대 성능 향상. 두 축 결합 시 27.7%의 상대 성능 향상.

의의 및 한계

본 연구는 다중모달 에이전트 학습에서 환경 수량 확장보다 **환경 분포의 질적 설계**가 더 중요하다는 점을 실증적으로 입증한다. AES와 HDC는 **다양성**과 **난이도 구조**라는 두 차원에서 환경 분포를 효과적으로 설계할 수 있는 구조화된 프레임워크를 제공하며, 기존 환경 기반 학습 연구의 한계를 극복할 수 있는 가능성을 제시한다.

하지만, 본 연구는 **200개 환경**을 기반으로 실험했으며, 더 다양한 환경이나 다른 도메인에서의 일반화 가능성은 추가 연구가 필요하다. 또한, AES와 HDC는 **메타-능력 프로파일링**과 **그라디언트 분석**을 기반으로 하므로, 계산 비용이 상대적으로 높을 수 있다.

실용적 활용

AES와 HDC는 **다중모달 에이전트**(예: 시각-언어 에이전트, 로봇 제어 시스템)의 학습 환경 설계에 적용 가능하다. 특히, 다양한 능력을 갖춘 에이전트를 안정적으로 훈련시키려는 **로보틱스**, **자율 주행**, **멀티모달 챗봇** 개발에 유용하게 활용될 수 있다.