PhysInsert: Physically Plausible Object Insertion with Geometric Priors and Bidirectional Object-Scene Interactions

We present PhysInsert, a framework for physically plausible reference-based object insertion that jointly adapts objects and their surrounding scenes. Existing methods often rely on masked inputs, generation-based pairs, or training pairs with limited viewpoint variation, leaving pose and illumination adaptation and bidirectional object-scene interactions insufficiently constrained. We construct the Insert World dataset with strictly aligned Blender-rendered counterfactual pairs and object references across viewpoints and lighting conditions. Building on these data, Geometry-Guided Adaptation couples a VGGT geometry stream with image and text streams under target-scene feature supervision to guide spatially consistent insertion. Complementary 2D Object-Scene Spatial Supervision jointly supervises object occupancy and environmental changes while grounding spatial instructions in object regions through image-text attention. We introduce PhysInsert-Bench with dedicated cross-environment and cross-view cases requiring illumination and pose adaptation beyond appearance copying. Experiments on PhysInsert-Bench and DreamBooth demonstrate improved image fidelity; a user study further shows more accurate placement and improved lighting integration, perspective, and pose plausibility.

한 줄 요약

PhysInsert는 물리적으로 타당한 객체 삽입을 위해 기하학적 정보와 이중 방향 객체-환경 상호작용을 결합한 프레임워크이다.

핵심 기여도

**InsertWorld 데이터셋**: 블렌더 렌더링을 기반으로 엄격히 정렬된 카운터패셜 쌍과 라이팅, 뷰포인트별 객체 참조를 제공.
**Geometry-Guided Adaptation (GGA)**: VGGT 기하 스트림과 이미지/텍스트 스트림을 결합하여 공간 일관성을 유지하는 삽입을 유도.
**2D Object-Scene Spatial Supervision (COSS)**: 객체 점유율과 환경 변화를 동시에 감독하며, 이미지-텍스트 어텐션을 통해 공간 지시어를 객체 영역에 접목.
**PhysInsert-Bench**: 조명 및 자세 적응이 필요한 크로스-환경, 크로스-뷰 테스트 케이스를 포함한 평가 벤치마크를 제안.

핵심 아이디어

기존 객체 삽입 방법은 마스킹, 생성 기반 쌍, 제한된 뷰포인트 훈련 쌍에 의존하여, 자세와 조명 적응 및 이중 방향 객체-환경 상호작용을 충분히 제약하지 못한다. 이에 반해, **PhysInsert**는 **InsertWorld** 데이터셋을 기반으로 **Geometry-Guided Adaptation (GGA)**와 **2D Object-Scene Spatial Supervision (COSS)**를 결합하여, 객체와 환경 간의 물리적 일관성을 강화한다. GGA는 VGGT 기하 스트림을 사용해 삽입 후의 공간 구조를 모델링하고, COSS는 객체 영역의 변화를 이미지-텍스트 어텐션을 통해 정확히 정의한다. 이는 기존 2D 기반 모델이 부족했던 3D 기하 정보와 공간적 정확도를 보완한다.

기술적 접근법

**InsertWorld 데이터셋**: 블렌더 렌더링을 기반으로 엄격히 정렬된 카운터패셜 쌍과 라이팅, 뷰포인트별 객체 참조를 포함.
**Geometry-Guided Adaptation (GGA)**: VGGT 기하 스트림을 이미지와 텍스트 스트림과 결합. 삽입 후의 환경 특성을 기반으로 기하 스트림을 감독.
**2D Object-Scene Spatial Supervision (COSS)**: 객체 마스크와 정렬된 환경 쌍을 사용해 객체 점유율과 외부 효과를 동시에 감독.
**Soft-Mask Spatial Grounding**: 이미지-텍스트 어텐션을 객체 영역에 맞춰 조정하여 공간 지시어를 정확히 반영.
**PhysInsert-Bench**: 조명 및 자세 변화가 필요한 테스트 케이스를 포함한 평가 벤치마크.

주요 결과

**PSNR, DIoU, LPIPS** 지표에서 **PhysW.** 대비 개선.
**DIoU**: 객체 배치 정확도 +1.6% 개선.
**Mask IoU**: 가시 객체 겹침률 +2.3% 증가.
**AbsRel, δ1.25**: 객체 영역 깊이 일관성 향상.
**DreamBooth** 및 **PhysInsert-Bench**에서 이미지 품질과 조명 통합, 투시, 자세 타당성이 개선됨.
**사용자 연구**: 더 정확한 배치와 조명 통합, 투시, 자세 타당성 증가.

의의 및 한계

**PhysInsert**는 객체 삽입 시 기하학적 일관성과 이중 방향 환경 상호작용을 강화하여, 기존 2D 기반 모델의 한계를 극복한다. 특히, **InsertWorld**와 **GGA**, **COSS**를 통해 조명 및 뷰포인트 변화에 대한 적응력을 높였으며, **PhysInsert-Bench**를 통해 실제 환경에서의 일반화 능력을 평가할 수 있다. 그러나, **복잡한 환경에서의 객체-환경 상호작용**은 여전히 제한적일 수 있으며, **3D 렌더링에 의존**하는 만큼, 실제 이미지 데이터에 대한 일반화 능력은 추가 연구가 필요하다.

실용적 활용

**PhysInsert**는 광고, 게임, AR/VR 등 객체를 현실감 있게 삽입해야 하는 산업에서 활용 가능하다. 또한, **텍스트 지시 기반 객체 배치**를 지원하므로, **AI 기반 콘텐츠 생성 도구**나 **실내 디자인 시뮬레이션**에도 적용 가능하다.