The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents

Multimodal intelligence can be viewed as human-guided co-evolution between worlds and agents through interaction. However, scaling this process faces two bottlenecks: constructing heterogeneous, verifiable environments is costly, and manual Harness iteration cannot keep pace with growing task diversity and complexity. A key insight is that tasks with different modalities and surface forms can share the same underlying capability requirements. We therefore introduce The Trinity, a recursive self-improvement framework coupling world generation with Harness evolution through three roles: Creator, Explorer, and Evolver. Drawing on verified execution trajectories, Evolver shifts the basis of task organization from surface categories to shared requirements, reorganizing the original task tree into a hierarchical capability tree. We introduce Capability-Driven Real2Sim2Real: for heterogeneous tasks at the same node, Creator abstracts their common requirements into simplified, verifiable simulated worlds for capability learning, while evaluation on original tasks measures transfer. Along this capability tree, Explorer progressively evolves reusable capability modules through selective inheritance, forming a Harness tree whose validated updates accumulate across iterations within a fixed topology. The resulting Harnesses specialize in different capabilities, motivating a Capability-Aware Harness Router that uses public task information to select compatible module configurations from the tree. Our evolved Harnesses improve mean performance by 34 points across 28 training benchmarks and 26 points across 18 unseen benchmarks, including two real-world embodied tasks.

한 줄 요약

The Trinity는 Creator, Explorer, Evolver 세 가지 역할을 통해 다모달 에이전트의 재귀적 자기 개선을 구현한 프레임워크로, 28개 훈련 벤치마크에서 평균 성능을 34점 향상시킨다.

핵심 기여도

**Capability-Driven Real2Sim2Real**: 공통된 능력 요구사항을 기반으로 실제 세계의 이질적 작업을 단순화된 시뮬레이션 환경으로 추상화하여 학습 효율성을 높임.
**Capability-Aware Harness Router**: 공개된 작업 정보와 검증된 실행 경험을 기반으로 적합한 모듈 구성 선택, 18개 미见过 벤치마크에서 26점 성능 향상.
**Capability–module priors**: 작업 수준의 능력 요구사항을 재사용 가능한 모듈 구성과 연결, 제어된 개입을 통해 모듈 설계의 사전 정보를 제공.
**34점의 평균 성능 향상**: 28개 훈련 벤치마크에서, 26점의 향상: 18개 미见过 벤치마크에서.

핵심 아이디어

The Trinity는 다모달 작업이 서로 다른 표면 형태와 모달에도 불구하고 공통된 능력 요구사항을 공유한다는 통찰을 바탕으로 설계되었다. 기존의 작업 중심 접근은 이질적 작업 간 일반화를 제한했으나, The Trinity는 Evolver를 통해 작업을 능력 요구사항으로 재구성하고, Creator는 이를 기반으로 시뮬레이션 환경을 생성한다. Explorer는 선택적 상속을 통해 재사용 가능한 모듈을 점진적으로 진화시키며, 이는 고정된 토폴로지 내에서 검증된 업데이트가 누적된다. 이 프레임워크는 작업별로 다른 능력에 따라 적절한 Harness를 선택하는 Capability-Aware Harness Router를 동기화한다.

기술적 접근법

**Evolver**: 검증된 실행 트래젝토리에서 작업의 능력 요구사항을 추출하고, 작업 트리(task tree)를 계층적 능력 트리(capability tree)로 재구성.
**Creator**: 동일한 노드에 있는 이질적 작업의 공통 요구사항을 추상화하여 단순화된, 검증 가능한 시뮬레이션 환경을 생성.
**Explorer**: 선택적 상속(selective inheritance)을 통해 재사용 가능한 모듈을 점진적으로 진화시키고, 고정된 토폴로지 내에서 검증된 업데이트를 누적.
**Capability-Aware Harness Router**: 공개된 작업 정보와 검증된 실행 경험을 기반으로 적합한 Harness 구성 선택.
**Capability-Driven Real2Sim2Real**: 실제 작업에서 추출한 공통 요구사항을 기반으로 시뮬레이션 환경을 생성하고, 원래 작업에서 전이를 평가.

주요 결과

**28개 훈련 벤치마크에서 평균 성능 향상**: 34점.
**18개 미见过 벤치마크에서 평균 성능 향상**: 26점.
**2개 실제 세계 실체화 작업에서 성능 개선**: 미명시된 구체 수치지만, 이질적 작업에서의 전이 성능을 입증.

의의 및 한계

The Trinity는 다모달 에이전트의 재귀적 자기 개선을 구조화하고, 작업 중심 접근의 한계를 극복하여 능력 중심의 모듈 설계와 전이 학습을 가능하게 한다. 특히, Creator와 Explorer의 협력적 진화는 효율적인 모듈 개선과 재사용을 촉진하며, Capability-Aware Harness Router는 작업별 최적화를 가능하게 한다. 그러나, 이 프레임워크는 특정 작업 집합에 의존하며, 새로운 작업이 추가될 경우 능력 트리 재구성에 시간이 소요될 수 있다. 또한, 실제 세계 적용 시 환경의 복잡성과 검증의 어려움이 한계로 작용할 수 있다.

실용적 활용

The Trinity는 로봇, 자율 주행, 가상 에이전트 등 실체화 작업이 필요한 산업에서 활용 가능하다. 특히, 다양한 작업 환경에서 재사용 가능한 모듈을 진화시키며, 작업별 최적의 구성 선택을 통해 효율적인 학습과 실행을 지원한다. 또한, 다모달 학습 모델의 개발 및 테스트 과정에서 시뮬레이션 환경 생성과 모듈 진화를 자동화할 수 있다.