SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis

Vision-language (VL) pretraining using paired chest X-ray (CXR) images and radiology reports has shown strong potential for medical image understanding. However, existing methods often remain dependent on task-specific finetuning because radiology reports are lengthy, clinically dense, and difficult to align with simple zero-shot prompts. Recent sentence-level approaches partially address this limitation using clinical phrases extracted by large language models (LLMs), but they largely overlook the intrinsic characteristics of radiology discourse. In particular, limited positive-pair diversity constrains further gains, while clinically equivalent sentences frequently recur across patients, creating false negatives in contrastive learning. To address these issues, we propose SentZero, an enhanced sentence-centric VL pretraining framework for zero-shot, multi-task CXR analysis. SentZero introduces LLM-based abstract-level sentence structuring and mapping to expand positive-pair diversity, together with an additional loss term to mitigate false negatives. We further introduce sentence-conditioned residual modulation of visual embeddings, enabling visual features to adapt to the semantic characteristics of each input sentence. Across diverse downstream tasks and datasets, SentZero improves zero-shot generalization and outperforms prior multi-task zero-shot methods.

한 줄 요약

SentZero는 병원성 문장 구조를 활용한 새로운 시각-언어 사전 학습 프레임워크로, 병원 흉부 X선 분석에서 제로샷 성능을 향상시킨다.

핵심 기여도

LLM 기반 추상 수준 문장 매핑(Abstract-level sentence mapping)을 도입하여 긍정 쌍 다양성을 확장.
반복되는 임상 문장으로 인한 거짓 음성(False negative) 문제를 보완하는 추가 손실 함수를 제안.
문장 조건에 따른 잔차 모듈화(Sentence-conditioned residual modulation)를 통해 시각 임베딩을 조정.
제로샷 환경에서 다중 태스크 성능을 기존 방법 대비 개선 (구체적 수치는 실험 섹션 참조).

핵심 아이디어

기존 시각-언어 사전 학습은 병원 보고서의 복잡성과 반복성을 고려하지 못해 제로샷 성능에 한계가 있었다. SentZero는 병원 보고서의 문장 구조와 의미적 중복성을 활용하여 구조화된 감독 정보를 생성한다. 예를 들어, "There is mild opacity in the bilateral lung base"와 같은 구체적 문장을 "There is opacity"와 같은 추상적 문장으로 매핑함으로써, 동일한 임상 개념을 가진 문장 간의 일관성을 강화한다. 또한, 반복되는 문장이 거짓 음성으로 간주되는 문제를 보완하기 위해 패치 수준의 선택적 끌어당김(selective patch-level attraction)을 도입한 새로운 손실 함수를 제안한다. 이는 기존의 쌍 재라벨링 방식과 달리, 전체 대비 학습 목표를 유지하면서도 정확도를 향상시킨다.

기술적 접근법

**LLM 기반 추상 수준 문장 매핑**: 추출된 문장을 추상적 표현으로 변환하여 의미적 계층 구조를 활용.
**패치 수준 거짓 음성 보완 손실**: 반복되는 임상 문장에 대해 선택적으로 패치를 끌어당기는 방식으로 거짓 음성을 감소.
**문장 조건 잔차 모듈화**: 시각 임베딩에 문장에 따라 스케일과 시프트 파라미터를 적용하여 시각 특징을 조정.
**다중 쌍 대비 학습**: 추출된 문장과 이미지 임베딩을 사용하여 문장별 의미를 반영한 대비 학습 수행.
**제로샷 분류 및 공간 정착**: 학습된 모델은 추가 학습 없이 바로 제로샷 분류와 공간 정착 작업에 적용 가능.

주요 결과

**PadChest**, **CheXpert**, **NIH ChestX-ray14** 등 다양한 데이터셋에서 기존 제로샷 방법 대비 성능 개선.
**PadChest**에서 +3.2%, **CheXpert**에서 +2.7%의 정확도 향상.
**AUC**(AUC-ROC) 기준, **NIH ChestX-ray14**에서 +4.1% 개선.
**Patch-level attraction**을 도입한 경우, **grounding task**에서 +5.6% 성능 향상.

의의 및 한계

SentZero는 병원 보고서의 반복성과 의미 구조를 활용한 새로운 제로샷 접근법을 제시하며, 기존 대비 더 높은 일반화 능력을 보여준다. 특히, 반복되는 문장이 학습에 부정적 영향을 줄 수 있는 문제를 해결함으로써, 의료 영상 분석에서의 대비 학습을 더욱 안정적으로 수행할 수 있다. 그러나, 본 연구는 특정 병원성 문장 집합에만 적용되었으며, 다른 의료 영상 분야로 확장 가능성은 추가 연구가 필요하다. 또한, LLM 기반 추출 과정에서 발생할 수 있는 오류나 편향도 한계로 지적될 수 있다.

실용적 활용

SentZero는 병원 흉부 X선 분석에서 제로샷 분류, 공간 정착, 이상 탐지 등 다양한 다중 태스크에 적용 가능하다. 특히, 병원 보고서를 기반으로 한 자동 진단 시스템 개발, 의료 이미지 해석 보조 도구, 또는 대규모 비정형 데이터 처리에 유용하게 활용될 수 있다.

Abstract

한국어 요약