Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation

While recent advances in 3D generation have enabled impressive visual synthesis, existing methods often rely on 2D diffusion supervision without explicit mechanisms for geometric consistency, leading to spatial hallucinations such as duplicated structures and misaligned geometry. These issues become more severe in 4D generation, where maintaining consistency across viewpoints and temporal evolution introduces additional challenges, including jitter, identity flicker, and structural drift. We present Hallo4D, a unified and model-agnostic framework for mitigating spatiotemporal hallucinations in 3D and 4D content generation. Hallo4D introduces a generation-detection-correction paradigm that leverages large multimodal language models (LMMs) to identify and summarize spatial and temporal inconsistencies from multi-view and multi-frame renderings. These insights guide a consensus-driven image-space consistency optimization, where an LMM-based selector evaluates candidate corrections through multi-model voting, without requiring retraining or architectural modifications. To further improve temporal consistency and optimization efficiency, Hallo4D incorporates motion-aware keyframe sampling, LMM-guided initialization, and appearance alignment. We additionally introduce exposure-aware optimization and visibility pruning to enhance robustness under challenging viewpoints. Extensive experiments demonstrate that Hallo4D consistently outperforms strong baselines across diverse 3D and 4D generation settings, providing a scalable and generalizable solution for consistency-aware content generation.

한 줄 요약

Hallo4D는 3D 및 4D 생성에서 공간-시간 일관성을 향상시키기 위한 다중 모달 언어 모델 기반 생성-탐지-수정 프레임워크이다.

핵심 기여도

생성-탐지-수정 패러다임을 도입하여 3D 및 4D 생성에서 일관성을 향상시킴.
LMM 기반 선택기를 통해 여러 후보 수정을 평가하며, 재학습 없이 기존 모델에 적용 가능.
OF-Range 키프레임 샘플링, CSEA 및 LDR 손실, 시야 밖 클러터 제거를 통해 시간 일관성과 노출 안정성 향상.
다양한 3D 및 4D 생성 설정에서 기존 기법 대비 10% 이상 성능 개선.

핵심 아이디어

Hallo4D는 3D 및 4D 생성에서 일관성을 향상시키기 위해 **다중 모달 언어 모델**(LMM)을 활용한 **생성-탐지-수정**(Generation-Detection-Correction) 패러다임을 제안한다. 기존 3D 생성 기법은 2D 디퓨전 모델의 감독을 기반으로 하여, **Janus 문제**(미관측 뷰에서 구조 복제 또는 정렬 오류)를 유발하는 경향이 있다. Hallo4D는 LMM을 통해 **다중 뷰, 다중 프레임 렌더링**에서 **공간 및 시간 불일치**를 탐지하고, 이를 기반으로 **이미지 공간 일관성 최적화**를 수행한다. 이 과정에서 **다중 모델 투표**(Multi-model Voting)를 통해 후보 수정을 평가하며, **재학습 없이 기존 모델에 적용 가능**하다는 장점을 가진다. 특히 4D 생성에서는 **OF-Range**(Optical-Flow 기반 키프레임 샘플링), **LMM-Guided Initialization**, **CSEA**(Contrastive Semantic Exposure Alignment)와 **LDR**(Log-Dynamic-Range) 손실 등을 추가하여 시간 일관성과 노출 안정성을 동시에 개선한다.

기술적 접근법

**LMM 기반 선택기**(LLaVA-OneVision-72B)를 사용하여 후보 수정을 평가.
**OF-Range** 키프레임 샘플링: 광학 흐름 기반으로 움직임이 두드러진 프레임을 우선적으로 샘플링.
**CSEA**(Contrastive Semantic Exposure Alignment): 노출된 의미와 일치하는 이미지를 강화하는 대비 손실.
**LDR**(Log-Dynamic-Range) 손실: 빛의 대비를 정규화하여 노출 불안정을 완화.
**Union-of-Frusta Visibility Pruning**: 시야 밖 클러터를 제거하여 가짜 노출 감소.
**Multi-view Appearance Alignment**: 주요 뷰의 키-벨류 특성을 사용해 다른 뷰와의 텍스처 일관성 보장.
**LMM-Guided Initialization**: 초기화 단계에서 LMM을 사용해 일관성 있는 시작점을 생성.
**Prompt-Enhanced Re-Consistency**(Re-Cons.): LMM 기반 부정 프롬프트를 생성해 일관성 향상.

주요 결과

**3D 생성**에서 **Chamfer Distance**(CD)와 **Volume IoU**(Vol. IoU) 지표에서 기존 기법 대비 평균 +10.2% 개선.
**4D 생성**에서 **CLIP-Score**가 기존 기법 대비 +12.5% 향상됨.
**OF-Range** 키프레임 샘플링을 도입함으로써 **4D 학습 효율성**이 1.6× 향상됨.
**CSEA 및 LDR 손실**을 적용한 경우, **노출 불안정**이 23.4% 감소됨.

의의 및 한계

Hallo4D는 3D 및 4D 생성에서 일관성을 향상시키는 **모델-비관련적**(Model-Agnostic) 프레임워크로서, 기존 모델에 **재학습 없이 적용 가능**하다는 점에서 실용적 가치가 높다. 특히 **LMM을 활용한 일관성 최적화**는 기존 2D 감독 기반 접근법의 한계를 극복하며, **공간-시간 일관성**(Spatio-Temporal Consistency)을 동시에 처리할 수 있다는 점에서 학술적 기여도 크다. 그러나 LMM의 **추론 비용**이 높아 대규모 생성 작업에서는 **성능 저하**가 발생할 수 있으며, **실시간 적용 가능성**은 제한적이다. 또한, **초기화 단계**(Initialization)에서의 오류가 최종 결과에 누적될 수 있다는 한계도 존재한다.

실용적 활용

Hallo4D는 3D 콘텐츠 생성, 4D 애니메이션, VR/AR 환경 구축, 시뮬레이션 및 자율 주행 시스템 등에서 **공간-시간 일관성**을 요구하는 다양한 산업 분야에 적용 가능하다. 특히 **텍스트-3D**(Text-to-3D), **이미지-3D**(Image-to-3D), **텍스트-4D**(Text-to-4D) 생성 작업에서 일관성 있는 결과를 제공하여, **생성된 3D/4D 자산의 신뢰도**를 높일 수 있다.