H3-World: Turning Language Understanding into World Control

We present H3-World, an efficient framework that turns the 33B MiniMax-H3 video generator into an interactive world model. Our key finding is that, as large video generators become more capable, language is emerging as a natural interface for control. MiniMax-H3, for example, already supports zero-shot control of character behavior and camera motion through natural-language instructions. Building on this, H3-World turns this coarse language interface into precise, temporally grounded world control, without introducing dedicated action modules. Specifically, we represent each action as a structured combination of character and camera instructions, and align them with the corresponding temporal video latents. To make the control temporally precise, we further introduce temporal attention routing, which restricts each instruction to its intended time interval and reduces control leakage across actions. Importantly, H3-World directly reuses the semantic representations learned during large-scale video pretraining and requires only lightweight adaptation. With only 8,000 gameplay samples, 10,000 LoRA optimization steps, and 0.199% trainable parameters, H3-World achieves effective character and camera control while preserving strong generation quality. It also generalizes to unseen scenarios. These results show that the control capabilities emerging in large video generators can be efficiently transformed into interactive world control.

한 줄 요약

H3-World는 MiniMax-H3를 기반으로 언어 인터페이스를 통해 정밀한 월드 컨트롤을 구현하는 효율적인 프레임워크이다.

핵심 기여도

MiniMax-H3가 zero-shot으로 캐릭터 행동 및 카메라 움직임을 언어 지시로 제어 가능함을 밝힘.
H3-World는 별도의 액션 모듈 없이 언어 인터페이스를 구조화된 액션으로 변환하여 정밀한 시간 기반 컨트롤을 구현.
8,000개의 게임플레이 샘플과 10,000단계의 LoRA 최적화, 0.199%의 학습 가능한 파라미터만으로 강력한 제어 성능 달성.
미见过 시나리오까지 일반화 가능하며, 기존 생성 품질 유지.

핵심 아이디어

H3-World는 기존 대규모 비디오 생성 모델이 이미 포함하고 있는 언어 기반 제어 능력을 활용해, 별도의 액션 모듈 없이도 정밀한 월드 컨트롤을 구현한다. MiniMax-H3는 이미 zero-shot으로 캐릭터와 카메라의 움직임을 자연어 지시로 제어할 수 있지만, 이는 시간적으로 모호한 제어였다. H3-World는 각 액션을 캐릭터와 카메라 지시의 구조화된 조합으로 표현하고, 이를 대응하는 시간 비디오 레이턴트와 정렬함으로써 시간 기반 정밀 제어를 가능하게 한다. 특히, 시간적 정밀성을 위해 **temporal attention routing**을 도입하여 각 지시가 의도된 시간 구간에만 적용되도록 제한하고, 액션 간 제어 누수를 줄인다. 이는 기존의 액션-비디오 경로 학습이나 별도의 조건부 모듈 없이도 가능하다는 점에서 혁신적이다.

기술적 접근법

**MiniMax-H3** (33B 파라미터)를 기반으로, 기존 언어 인터페이스를 활용하여 캐릭터 및 카메라 액션을 텍스트 지시로 표현.
**Temporal attention routing**을 도입하여 각 지시가 특정 시간 구간에만 적용되도록 제어 누수를 방지.
**LoRA (Low-Rank Adaptation)**를 사용한 가벼운 파라미터 최적화: 10,000단계, 0.199%의 학습 가능한 파라미터만 사용.
**8,000개의 게임플레이 샘플**로 학습, 기존 생성 품질 유지하면서도 정밀 제어 가능.

주요 결과

**H3-World**는 8,000개의 샘플과 10,000단계의 LoRA 최적화, 0.199%의 학습 파라미터만으로 강력한 캐릭터 및 카메라 제어를 달성.
**미见过 액션 조합 및 시각적 시나리오**까지 일반화 가능.
**기존 생성 품질 유지**하면서도, **시간 기반 정밀 제어**를 보장.
**Farneback optical flow**를 사용한 정량적 평가에서 카메라 움직임의 정확도를 측정하여 제어 효과 검증.

의의 및 한계

H3-World는 대규모 비디오 생성 모델이 이미 내재하고 있는 언어 기반 제어 능력을 효과적으로 활용함으로써, 별도의 액션 모듈 없이도 정밀한 월드 컨트롤을 가능하게 한다는 점에서 학술적·실용적 의의가 있다. 특히, 기존의 비디오 생성 모델을 최소한의 파라미터 조정만으로 월드 모델로 전환할 수 있다는 점에서 효율성과 확장성이 높다. 그러나 현재 연구는 **짧은 시간 범위의 생성**에 초점을 맞추고 있으며, 액션 조합, 시나리오, 랜덤 시드에 대한 **체계적인 평가 부족**이 한계로 지적된다. 또한, **지속적인 월드 상태 유지, 실시간 상호작용, 계획 및 정책 학습** 기능은 아직 지원되지 않는다.

실용적 활용

H3-World는 게임 개발, VR/AR 환경 구축, 시뮬레이션 기반 AI 훈련 등에서 즉석으로 생성된 비디오 세계를 언어로 정밀히 제어할 수 있는 기반을 제공한다. 특히, 기존 생성 모델을 최소한의 파라미터 조정으로 월드 모델로 전환할 수 있어, **빠른 프로토타이핑 및 저비용 개발**에 유용하다.