한 줄 요약
DreamForge-World 0.1 Preview는 소규모 컴퓨팅 자원에서 실시간 제어 가능한 세계 모델을 구현한 시스템이다.
핵심 기여도
- LongLive 1 비디오 스택과 Matrix-Game 스타일의 잔차 행동 경로(residual action pathway)를 결합한 실시간 세계 모델 구현.
- 480p 해상도에서 단일 RTX 4090 GPU로 최대 14~15 FPS를 달성하며, 낮은 메모리 소비를 유지.
- 키보드/마우스 제어, 멀티모달 초기화, 중간 재프롬프팅, 이중 뷰 조작 등 다양한 상호작용 기능 지원.
- 오픈 비디오 백본을 활용한 고비용 효율적 시스템 구축.
핵심 아이디어
DreamForge-World 0.1 Preview는 기존의 고성능 세계 시뮬레이터와는 다른 접근 방식을 채택한다. LongLive 1의 자동회귀 비디오 스택을 기반으로, Matrix-Game 계열의 잔차 행동 경로를 도입함으로써 행동 조건을 실시간으로 반영하는 시스템을 구축했다. 이는 단일 GPU에서도 실시간 상호작용이 가능하도록 설계되었다. 또한, 멀티모달 초기화와 중간 재프롬프팅을 통해 유연한 제어를 가능하게 하였다. 이 시스템은 높은 시각적 품질보다는, 단위 적응 컴퓨팅당 상호작용 기능의 포괄성을 중점으로 삼는다.
기술적 접근법
- **LongLive 1** 비디오 스택을 기반으로 **Wan2.1-T2V-1.3B** 모델을 활용.
- **잔차 행동 경로(residual action pathway)**를 도입하여 행동 조건을 반영.
- **멀티모달 초기화** (텍스트, 이미지, 비디오)와 **중간 재프롬프팅(mid-stream reprompting)** 지원.
- **이중 뷰(dual-view)** 조작을 통해 1인칭 및 3인칭 시점 제어 가능.
- **단일 RTX 4090 GPU**에서 480p 해상도, 최대 15 FPS로 실시간 연산.
- **오픈 비디오 백본**을 활용한 **타겟 적응 실행(targeted adaptation runs)**으로 비용 효율성 확보.
주요 결과
- **480p 해상도**에서 단일 **RTX 4090 GPU**로 **14~15 FPS** 달성.
- **Live keyboard/mouse control**, **mid-stream reprompting**, **dual-view operation** 등 다양한 상호작용 기능 지원.
- **LongLive/Wan 비디오 스택** 기반으로 **오픈 비디오 백본** 활용한 **고비용 효율적 구축**.
- **Matrix-Game 스타일 잔차 행동 경로**를 통한 실시간 행동 조건 반영.
의의 및 한계
DreamForge-World 0.1 Preview는 소규모 컴퓨팅 자원에서도 실시간 제어 가능한 세계 모델을 구현함으로써, 기존의 고비용, 고사양 시스템에 의존하는 세계 시뮬레이션 접근 방식에 대안을 제시한다. 특히, **단일 GPU에서의 실시간 연산**과 **다양한 상호작용 기능**은 실용적 활용 가능성을 높인다. 그러나 **지속적인 공간 메모리(persistent spatial memory)**, **고해상도 시각 품질**, **정밀한 물리 제어**는 아직 미비한 점으로, 향후 개선이 필요하다.
실용적 활용
이 시스템은 **소비자 GPU 기반의 게임 개발**, **실시간 VR/AR 환경 구축**, **교육용 시뮬레이션**, **AI 기반 콘텐츠 생성** 등에서 활용 가능하다. 특히, **저비용으로 빠른 프로토타이핑**이 필요한 연구 및 산업 분야에 적합하다.