Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

This report presents a lightweight modification to the DETR-based fusion transformer baseline for the MaCVi 2026 Vision-to-Chart data association challenge. The challenge baseline decoder receives per-buoy queries encoding world-space distance and bearing, forcing the transformer to implicitly learn the complex geometric projection from world coordinates to image pixels. Instead, this work trains an additional dedicated MLP, QueryMLP, to explicitly predict the buoy's waterline contact point in the image from chart measurements and IMU orientation data. The predicted pixel coordinates are appended to the baseline decoder query vector, providing a direct spatial prior per buoy and reducing the geometric reasoning burden on the transformer decoder. On the challenge leaderboard, the presented approach achieves an Overall score of 0.7386, with F1 = 0.8055 and mIoU = 0.6718, on the held-out test set, placing second among all submissions.

📋 한 줄 요약

**[Vision-to-Chart / 해양 인지]** QueryMLP가 DETR fusion baseline에 buoy waterline 픽셀 좌표를 명시적으로 예측·query에 주입해 transformer의 geometric reasoning 부담을 줄여 MaCVi 2026 챌린지 Overall 0.7386·F1 0.8055로 leaderboard 2위.

🎯 핵심 기여도

MaCVi 2026 Vision-to-Chart data association 챌린지의 DETR 기반 fusion transformer baseline에 lightweight 변경 제안.
챌린지 baseline decoder가 world-space distance·bearing을 인코딩한 per-buoy query를 받아 transformer가 world→image 픽셀의 복잡 geometric projection을 implicit 학습하도록 강제하는 부담 식별.
전용 MLP인 QueryMLP를 별도 학습해 chart 측정값·IMU orientation에서 buoy의 image 내 waterline contact point 픽셀 좌표를 explicit 예측.
예측된 픽셀 좌표를 baseline decoder query vector에 append, per-buoy spatial prior를 직접 제공하고 transformer decoder의 geometric reasoning 부담 경감.

💡 핵심 아이디어

DETR 기반 vision-to-chart association에서 transformer에 world→image projection을 implicit하게 떠넘기지 말고, 가벼운 MLP로 explicit 픽셀 예측을 만들어 query prior로 주입하면 모델 부담이 줄어들고 정확도가 향상된다.

🔬 기술적 접근법

**방법론**: QueryMLP — DETR baseline 위 lightweight extension.
**핵심 기법**: (1) Chart 측정값(거리·bearing)·IMU orientation을 입력으로 받는 dedicated MLP, (2) Buoy의 image waterline contact point 픽셀 좌표 explicit 예측, (3) 예측 좌표를 baseline decoder query vector에 append, (4) Per-buoy spatial prior 제공으로 transformer decoder의 geometric burden 경감, (5) MaCVi 2026 challenge leaderboard 평가.

📊 주요 결과

챌린지 leaderboard: Overall score 0.7386.
F1 = 0.8055.
mIoU = 0.6718.
모든 submission 중 2위 달성.

💭 의의 및 한계

**의의**: Transformer에 복잡 기하 학습을 떠넘기지 않고 explicit prior로 쪼개는 lightweight 설계 원리 시연, 챌린지 2위라는 정량 결과로 효과성 입증, IMU·chart 메타 정보의 효과적 활용 사례. **한계**: MaCVi 2026 챌린지 specific 결과로 일반 vision-to-chart association 일반화 검증 필요, MLP가 noisy IMU에 대한 robustness 미명시, waterline assumption이 부유 객체에 한정.

🚀 실용적 활용

해양 자율 항해·USV의 chart-vision 정합.
항만·연안 모니터링 시스템.
DETR query에 explicit prior 주입하는 일반 설계 패턴.