Attention-DP3: Spatially Object-aware 3D Diffusion Policy via Geometry-aligned Attentional Conditioning

3D point-cloud observations are inherently ambiguous in complex, cluttered manipulation scenes, where target objects may be partially occluded or tightly intermingled with visually similar distractors. As a result, standard 3D diffusion policies often struggle to localize and exploit task-relevant geometry as scene complexity grows. We propose Attention-DP3, a spatially object-aware 3D diffusion policy that injects object-level geometric cues via attention while keeping the DP3 diffusion backbone unchanged. Our pipeline performs open-vocabulary 2D segmentation on RGB images, then lifts predicted target masks into 3D using calibrated camera geometry to obtain object-centric geometric priors. We incorporate these cues through Tri-field Attentional Conditioning, which constructs three complementary fields: (i) a targetness field to anchor the target object, (ii) an intra-target saliency field to emphasize task-relevant geometry within the target, and (iii) a backgroundness field to suppress distractors and clutter. Experiments on Adroit, DexArt, MetaWorld, and the real-world SO101 platform show consistent improvements over DP3, achieving state-of-the-art performance across benchmarks. Notably, as distractor objects increase, DP3 drops sharply, whereas Attention-DP3 remains stable and outperforms DP3 by up to 31\% under heavy clutter. The code is publicly available at https://github.com/zhangzhongbo2213/Attention-DP3.

한 줄 요약

Attention-DP3는 3D 포인트 클라우드에서 객체 인식을 강화한 디퓨전 정책으로, MetaWorld에서 73% 성공률을 달성했다.

핵심 기여도

**Open-vocabulary 2D segmentation**을 통해 RGB 이미지에서 타겟 마스크를 추출하고, 이를 3D로 변환하여 DP3의 디퓨전 백본을 변경하지 않고 객체 중심의 기하학적 힌트를 주입.
**Tri-field Attentional Conditioning** 모듈을 도입하여, 타겟 고정, 내부 중요도 강조, 배경 억제의 세 가지 필드를 통해 정확한 객체 인식을 유도.
**MetaWorld, Adroit, DexArt, SO101** 등 다양한 벤치마크에서 DP3 대비 최대 31% 성능 향상.
**Late fusion** 전략이 early fusion보다 3D 제어 성능에서 우수함을 실험적으로 입증.

핵심 아이디어

기존 3D 디퓨전 정책(DP3)은 복잡한 장면에서 객체 인식이 어려워 성능이 급격히 저하되는 문제를 해결하기 위해, Attention-DP3는 객체 중심의 2D 마스크를 3D 기하학 정보와 결합한 **Tri-field Attentional Conditioning**을 제안한다. 이는 RGB 이미지에서 추출한 **open-vocabulary 2D segmentation** 결과를 **calibrated camera geometry**를 통해 3D로 변환한 후, **targetness**, **intra-target saliency**, **backgroundness** 세 가지 필드를 생성하여 디퓨전 정책에 주입하는 방식이다. 이는 기존 디퓨전 백본을 유지하면서도, 객체 인식을 강화하여 복잡한 장면에서도 안정적인 정책 학습을 가능하게 한다.

기술적 접근법

**Open-vocabulary 2D segmentation**을 수행한 후, **calibrated camera geometry**를 이용해 2D 마스크를 3D로 변환.
**Tri-field Attentional Conditioning** 모듈:
**Targetness field**: 타겟 객체를 고정.
**Intra-target saliency field**: 타겟 내부의 작업 관련 기하학 강조.
**Backgroundness field**: 배경 및 방해 요소 억제.
**Late fusion** 전략: 각 필드를 독립적인 **AttnEncoder**로 인코딩한 후, 기하학적 특징과 결합.
**DP3 diffusion backbone**은 변경 없이 사용.

주요 결과

**MetaWorld**에서 DP3 대비 +0.43 성공률 향상 (0.73 vs. 0.30).
**Push-Wall** 및 **Pick-Place** 작업에서 DP3 대비 각각 +0.43, +0.42 개선.
**Adroit**에서 DP3 대비 +0.10 성공률 향상 (0.78 vs. 0.68).
**DexArt**에서 DP3 대비 +0.04 성공률 향상 (0.56 vs. 0.52).
**SO101** 실환경 플랫폼에서도 DP3 대비 안정적인 성능 유지.
**Heavy clutter** 조건에서 DP3 대비 최대 +31% 성능 향상.

의의 및 한계

Attention-DP3는 복잡한 장면에서 객체 인식을 강화함으로써 기존 3D 디퓨전 정책의 한계를 극복하는 데 기여한다. 특히, **zero-shot robustness**를 통해 미학습된 방해 요소에도 안정적인 성능을 보이는 것이 학술적·실용적 가치로 작용한다. 그러나, **2D segmentation의 정확도**가 3D 인식에 직접적인 영향을 미치므로, 2D 인식 모델의 성능 향상이 필요하다는 한계가 있다. 또한, **AttnEncoder의 복잡도**가 증가할 수 있어, 실시간 적용 시 성능과 속도의 균형이 중요하다.

실용적 활용

Attention-DP3는 **로봇 조작**, 특히 **비구조화 환경**에서의 객체 인식 및 정확한 작업 수행에 적용 가능하다. 예를 들어, **물류**, **제조**, **의료** 분야에서 복잡한 물체 배열 속에서 정확한 객체 인식과 조작이 필요한 상황에 활용할 수 있다.