HelloWorld: Enabling Socially Interactive Characters in Video World Models

Despite the remarkable recent progress of video world models, social interaction between users and the characters within these worlds remains unsupported. To fill this gap, we present HelloWorld, a video world model that enables social interaction with in-world characters. With a single button press, users can prompt the on-screen character to respond toward the camera, e.g., turning to the viewer, waving, nodding, or speaking a short greeting. To make these interactions natural, we propose a self-distillation pipeline that finetunes the video generation model on data synthesized by itself. Each synthesized clip contains both social interactions and camera motion, allowing the model to learn camera-pose conditioning without degrading interaction quality. At inference, we further introduce a training-free module that determines when the interaction occurs. Upon a button press, it modulates the cross-attention masks of the DiT so that the interaction-related text prompt attends only to the frames within the press window, temporally localizing the character's response. We further build HelloWorldBench, a 400-sample benchmark with three social interaction metrics alongside three conventional metrics, for evaluation. Experiments demonstrate that HelloWorld surpasses a variety of baselines in interaction quality, while maintaining state-of-the-art picture aesthetics and camera-pose following. Project page: https://github.com/AlayaLab/HelloWorld

한 줄 요약

HelloWorld는 사용자와 영상 내 캐릭터 간 사회적 상호작용을 가능하게 하는 비디오 월드 모델로, 자체 학습 파이프라인과 추론 시 교차-주의 마스크를 제안한다.

핵심 기여도

**자체 학습(self-distillation) 파이프라인**을 통해 생성된 데이터로 모델을 미세조정하여 사회적 상호작용과 카메라 움직임을 동시에 학습.
**DiT의 교차-주의 마스크(temporal cross-attention mask)**를 사용해 버튼 입력 시 상호작용이 발생하는 타이밍을 추론 시점에 제어.
**HelloWorldBench**, 400개 샘플의 새로운 벤치마크를 제안, 3개의 사회적 상호작용 메트릭 포함.
**SOTA 수준의 비디오 품질과 카메라 포즈 추종 성능**을 유지하면서 상호작용 품질에서 기존 베이스라인을 초과.

핵심 아이디어

기존 비디오 월드 모델은 사용자와 캐릭터 간 사회적 상호작용을 지원하지 않았다. HelloWorld는 사용자가 단일 버튼 입력으로 캐릭터가 카메라를 향해 반응하도록 유도할 수 있도록 설계되었다. 이는 **self-distillation**을 통해 모델이 스스로 생성한 데이터로 학습함으로써 자연스러운 상호작용과 카메라 움직임을 동시에 학습할 수 있도록 한다.

추론 시에는 **training-free temporal cross-attention mask**를 도입하여, 버튼 입력 시점에만 상호작용 관련 텍스트 토큰이 해당 프레임에만 주의를 기울이도록 제어함으로써, 캐릭터의 반응을 시간적으로 국지화한다. 이는 기존 모델이 상호작용의 타이밍을 제어하기 어려웠던 문제를 해결한다.

기술적 접근법

**Self-distillation 파이프라인**: 생성된 비디오에서 카메라 경로를 어노테이션하고, 포인트 클라우드를 재렌더링하여 워프된 비디오를 생성. 이는 학습 시 카메라 포즈 조건을 학습할 수 있도록 한다.
**Temporal cross-attention mask**: DiT의 교차-주의 레이어를 조절하여 버튼 입력 시점에만 상호작용 관련 텍스트 토큰이 해당 프레임에만 주의하도록 함.
**HelloWorldBench**: 120개의 고해상도 이미지와 설계된 텍스트 프롬프트, 카메라 경로를 조합해 400개 샘플을 구성. 3개의 상호작용 메트릭(what, when, whether) 포함.

주요 결과

**HelloWorldBench**에서 기존 방법들 대비 **3개의 상호작용 메트릭에서 상당한 개선**을 보임.
**비디오 품질과 카메라 포즈 추종**에서 기존 최고 수준(SOTA)을 유지.
**버튼 입력 시 상호작용이 정확히 발생하는 타이밍**을 제어할 수 있음.
**400개 샘플 기반 평가**에서 상호작용 품질, 비디오 품질, 카메라 추종 모두에서 우수한 성능.

의의 및 한계

HelloWorld는 사용자와 캐릭터 간 사회적 상호작용을 가능하게 하는 첫 번째 비디오 월드 모델로, **자체 학습 파이프라인과 추론 시 제어 모듈**을 통해 기존 접근법의 한계를 극복한다. 또한, **HelloWorldBench**는 사회적 상호작용을 평가할 수 있는 첫 번째 벤치마크로, 연구 발전에 기여할 수 있다.

하지만, **실시간 상호작용은 아직 지원하지 않으며**, 상호작용은 **사전 정의된 카메라 경로와 스크립트에 의존**한다. 향후 연구는 **자율적 생성 아키텍처**를 탐구하여 실시간 상호작용을 가능하게 하는 방향으로 나아갈 필요가 있다.

실용적 활용

HelloWorld는 게임 제작, 영화 제작, 가상 환경 시뮬레이션 등에서 사용자와 캐릭터 간 자연스러운 상호작용을 구현할 수 있는 기반 기술로 활용될 수 있다. 특히, **사전 정의된 스크립트 없이 사용자 입력에 반응하는 캐릭터 생성**에 적합하며, **교육용 VR, 콘텐츠 제작, 인터랙티브 스토리텔링** 등 다양한 분야에서 적용 가능하다.