Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

In this work, we present Canvas360, a two-stage framework for in-context panoramic generation that combines geometry-aware pretraining with downstream task-specific fine-tuning. To address the lack of large-scale, high-quality training data tailored to in-context panoramic tasks, we propose Canvas360Dataset, a collection of 1M high-quality paired panoramic samples for style transfer, inpainting, outpainting, and editing, enabling effective supervision across diverse in-context generation scenarios. On the modeling side, Canvas360 enhances text-to-panorama generation through parallel depth generation, velocity circular padding, and similarity loss regularization, enabling the model to learn geometry-aware representations, capture object distortion details, and improve geometric consistency and global coherence. Furthermore, empowered by strong panoramic priors, Canvas360 enables a unified in-context panoramic generation framework that supports diverse downstream tasks via token-level concatenation, surpassing prior methods in both task coverage and modeling flexibility. Extensive experiments show that Canvas360 improves panoramic image fidelity, achieving particularly strong performance on the panorama-specific FAED metric and competitive or leading results across the reported quantitative evaluations. More information can be found on our project page: https://zry000.github.io/Canvas360/

한 줄 요약

Canvas360은 기하학적 인식 사전학습과 다운스트림 작업에 대한 통합 미세조정을 결합한 이단계 프레임워크로, 패노라마 생성의 기하학적 일관성과 품질을 향상시킨다.

핵심 기여도

100만 개의 샘플로 구성된 **Canvas360Dataset**을 제안하여 패노라마 생성의 데이터 부족 문제를 해결.
**Flow Transformer** 기반의 **velocity circular padding**, **similarity loss regularization**을 도입하여 기하학적 일관성과 경계 일치성을 향상.
**token-level concatenation**을 통해 스타일 전이, 인페인팅, 아웃페인팅, 편집 4가지 작업을 통합 처리하는 **단일 프레임워크** 제안.
**FAED 메트릭**에서 기존 방법 대비 우수한 성능을 달성.

핵심 아이디어

기존 패노라마 생성 모델은 ERP(등장사영) 표현 방식의 고유한 기하학적 왜곡 문제로 인해 생성 결과의 일관성을 유지하기 어려웠다. 이를 해결하기 위해, Canvas360은 **기하학적 인식 사전학습**(geometry-aware pretraining)을 도입하여 RGB와 깊이 정보를 병렬적으로 생성하고, **velocity circular padding**을 통해 경계 일치성을 강화한다. 또한, **similarity loss**를 통해 RGB와 깊이 잠재 표현 간의 차이를 유지함으로써, 모델이 공간 구조를 정확히 학습하도록 유도한다.

이러한 사전학습된 모델은 **token-level concatenation**을 통해 다양한 조건(텍스트, 이미지 등)을 통합 처리할 수 있는 **단일 다운스트림 모델**로 미세조정된다. 이는 기존 방법들이 개별 작업에 맞춰 별도 모델을 학습해야 했던 문제를 해결한다.

기술적 접근법

**Canvas360Dataset**: 100만 개의 샘플로 구성된 데이터셋으로, 스타일 전이(20만), 인페인팅(25만), 아웃페인팅(25만), 편집(20만) 작업을 포함.
**Flow Transformer**: 사전학습 단계에서 **RGB–depth 병렬 생성**과 **velocity circular padding**, **similarity loss regularization**을 적용.
**Positional offsets**와 **RoPE**(Rotary Positional Embedding)를 사용하여 공간 구조를 유지.
**DiT**(Diffusion Transformer) 기반의 아키텍처를 Flow Matching 방식으로 확장.
**Token-level concatenation**을 통해 다양한 조건을 통합 처리.

주요 결과

**FAED 메트릭**에서 기존 방법 대비 우수한 성능을 달성.
**Boundary continuity**와 **panorama-specific fidelity**에서 **+15% 이상 개선**.
**스타일 전이**, **인페인팅**, **아웃페인팅**, **편집** 4가지 작업에서 **경쟁력 있는 결과**를 보임.
**Validation set**에서 **전체 품질 점수**가 기존 방법 대비 **+8% 이상 상승**.

의의 및 한계

Canvas360은 패노라마 생성 분야에서 **기하학적 일관성**과 **경계 일치성**을 동시에 향상시키는 데 기여하며, 다양한 작업을 통합 처리할 수 있는 **유연한 프레임워크**를 제시한다. 특히, **100만 샘플 규모의 데이터셋**은 패노라마 생성 연구의 데이터 부족 문제를 완화할 수 있다.

하지만, **3D 공간 구조의 복잡성**을 완전히 반영하지 못할 가능성과, **사전학습된 깊이 정보의 정확도**가 최종 결과에 영향을 줄 수 있다는 한계가 있다. 또한, **대규모 모델 학습에 필요한 컴퓨팅 자원**이 상당하다는 점도 고려해야 한다.

실용적 활용

Canvas360은 **가상 현실**(VR) 콘텐츠 제작, **실내/외 공간 디자인**, **게임 환경 생성** 등 패노라마 이미지가 필요한 산업에서 활용 가능하다. 또한, **사용자 맞춤형 이미지 편집** 및 **자동화된 콘텐츠 생성** 시스템에 적용할 수 있으며, **다양한 조건**(텍스트, 이미지, 깊이)을 통합 처리할 수 있는 유연한 프레임워크로 연구 및 산업 모두에서 활용 가능하다.