Color Pass-Through via Camera-Display Coupling

When a real-world scene is captured by a smartphone camera and viewed on its screen, the displayed image often differs noticeably from the original scene in color, brightness, and contrast. This gap persists despite substantial advances in both modern cameras and displays. A key reason is that most pipelines factor the high-dimensional capture-to-display process into two separately calibrated camera and display stages, and then connect them through low-dimensional color transforms, leading to information bottlenecks and inevitable error accumulation. To address this systemic challenge, we propose Color Pass-Through, an end-to-end learned framework that operates directly on captured images. Our key insight is to treat the camera and display as a coupled system rather than calibrating them in isolation. Coupling the camera and display yields two practical advantages: (1) it brings the entire real-world scenes to the display via end-to-end optimization, and (2) it allows efficient one-step calibration for each distinct observer via complete capture-to-display path. We validate Color Pass-Through using both digital and human observers. Compared with representative baselines, our method achieves an average gain of +2.0 points on a 5-point user study and more than 2x improvement on quantitative metrics, demonstrating improved reproduction of the perceived color of the original scene.

한 줄 요약

스마트폰 카메라와 디스플레이를 통합한 Color Pass-Through 프레임워크를 제안하여 실제 장면의 색감을 정확히 재현한다.

핵심 기여도

카메라-디스플레이 통합 시스템(Color Pass-Through)을 통해 색감 재현 오류를 2.0점(5점 척도) 개선.
학습된 픽셀 단위 프로젝터(learned pixel-wise neural projector)로 카메라-디스플레이 매핑을 직접 학습.
카메라-null 공간 기반 색 보정 모듈을 통해 잔여 색차를 1단계 보정.
2x 이상의 정량적 지표 개선과 사용자 스터디에서 평균 +2.0점 향상.

핵심 아이디어

기존 카메라-디스플레이 파이프라인은 카메라 캘리브레이션과 디스플레이 캘리브레이션을 별도로 수행한 후, 저차원 색 변환을 통해 연결함으로써 정보 병목 현상과 오류 누적을 초래한다. 이에 반해, Color Pass-Through는 카메라와 디스플레이를 통합된 시스템으로 간주하고, 캡처-디스플레이 경로를 단일 학습 프로세스로 최적화한다. 이는 실제 장면의 라디안스를 정확히 재현하는 데 기여하며, 특히 카메라의 메타머릭-블랙(메타머) 공간에서 발생하는 잔여 색차를 보정하기 위해 관찰자별 1단계 보정 계수를 도입한다.

기술적 접근법

**Learned Pixel-wise Neural Projector**: 캡처된 이미지를 직접 입력으로 받아, 카메라-디스플레이 매핑을 학습.
**Re-capture Protocol**: 디지털 RGB 샘플을 디스플레이에 렌더링하고, 카메라로 재촬영하여 학습 데이터를 생성.
**Camera-Null Color Correction**: 관찰자별 1단계 보정 계수 $ a_i \in \mathbb{R}^{3\times 1} $를 사용하여 잔여 색차 보정.
**Dataset**: DIV2K, ARAD-1K, CAVE, ICVL 등 하이퍼스펙트럴 데이터셋 사용.
**Loss Function**: $ \lambda_1, \lambda_2, \lambda_3 = (1, 0.01, 1) $로 설정하여 보정 정확도 최적화.

주요 결과

**사용자 스터디**: 5점 척도에서 평균 +2.0점 개선.
**정량적 지표**: 기존 대비 2x 이상 향상.
**데이터셋**: DSLR 기반의 정량적 평가와 사용자 주관 평가 모두에서 일관된 성능 개선.
**디바이스**: HUAWEI Pura 70 Pro, Xiaomi 17 Pro Max, Sony ILCE-7M4 사용.

의의 및 한계

Color Pass-Through는 카메라-디스플레이 통합 학습을 통해 기존의 정보 병목 문제를 해결하고, 실제 장면의 색감을 정확히 재현하는 데 기여한다. 특히, 관찰자별 1단계 보정을 통해 실용적인 적용이 가능하다는 점에서 의미가 크다. 그러나 카메라의 스펙트럼 감도와 인간 시각 반응의 차이로 인해, 메타머 공간에서의 색차는 완전히 제거할 수 없다는 한계가 존재한다. 또한, 각 카메라-디스플레이 쌍별 학습이 필요하기 때문에 대규모 확장에는 추가 연구가 필요하다.

실용적 활용

이 연구는 스마트폰, VR 헤드셋(Vision Pro), AR 디스플레이 등에서 실제 장면의 색감을 정확히 재현하는 데 활용될 수 있다. 특히, 가상 시도 거울(virtual try-on mirror)이나 실감 증강 현실 환경에서의 색감 일관성을 유지하는 데 유용하다.