VaseMuseum: Digital Intelligent Museum for Ancient Greek Pottery

Vision-language models (VLMs) have made interactive digital museums increasingly feasible by connecting 3D digitization with natural-language artifact exploration. However, in cultural heritage domains such as ancient Greek pottery, reliable VLM assistance is limited by two challenges. First, open-ended interpretation requires grounding fine-grained 2D/3D visual evidence in specialized curatorial knowledge, yet the retrieval process may introduce weak sources and unverifiable references. Second, when the available evidence is incomplete, noisy, or ambiguous, VLMs often produce confident but unsupported answers instead of calibrated uncertainty. To address these challenges, we propose VaseMuseum, a lightweight and modular multimodal agent framework for intelligent digital museums of ancient Greek pottery. VaseMuseum combines an interactive virtual museum with VaseAgent, which supports both 2D images and 3D artifacts through multimodal perception, 3D-aware reasoning, external knowledge retrieval, and inference-time reliability control. Specifically, VaseAgent retrieves evidence from authoritative web and museum knowledge sources, and source-level control selects diverse and verifiable evidence before generation. Meanwhile, response-level control checks generated claims against the evidence pool and encourages neutral, evidence-bounded answers when support is insufficient or conflicting. Moreover, a training-free GRPO-style selection mechanism favors responses with valid references and calibrated confidence without updating the VLM backbone. Experiments in a realistic digital museum simulation show that VaseMuseum improves citation validity, reduces hallucinations on knowledge-intensive queries, and produces more neutral answers under ambiguity compared with search-enabled VLM baselines.

한 줄 요약

VaseMuseum은 고대 그리스 도자기의 디지털 박물관에서 신뢰성 있는 멀티모달 대화를 지원하는 인지제어 기반 에이전트 프레임워크이다.

핵심 기여도

VaseAgent를 제안하여 2D/3D 아티팩트에 대한 인식, 3D 인식 추론, 외부 지식 검색, 추론 시 신뢰도 제어를 통합.
DeepResearch 스타일의 외부 지식 수집과 소스 수준 제어를 결합하여 신뢰할 수 있는 증거 기반 대화를 가능하게 함.
GRPO 스타일의 학습 없이도 신뢰도 높은 응답을 선호하는 선택 메커니즘을 도입.
LIMC 데이터베이스와 VaseVQA-3D 데이터셋을 기반으로 518개의 고대 도자기 샘플을 평가셋으로 구성.

핵심 아이디어

고대 문화유산 분야에서 VLM(Vision-Language Model)이 신뢰성 있게 작동하려면 시각적 정보와 외부 지식을 결합하면서도 불확실성을 적절히 표현해야 한다는 점에서 기존 접근법의 한계가 있었다. VaseMuseum은 이 문제를 해결하기 위해 **VaseAgent**라는 추론 에이전트를 도입한다. 이 에이전트는 **DeepResearch 스타일의 외부 지식 수집**을 통해 **LIMC**와 같은 권위 있는 자료를 활용하며, **소스 수준 제어(Source-level control)**를 통해 불확실하거나 신뢰도 낮은 정보를 필터링한다. 또한, **응답 수준 제어(Response-level control)**를 통해 생성된 주장이 수집된 증거와 일치하는지 확인하고, 충분하지 않거나 모순된 증거가 있을 경우 중립적인 응답을 유도한다. 이는 **GRPO 스타일의 선택 메커니즘**을 통해 학습 없이도 신뢰도 높은 응답을 선호하도록 설계되었다.

기술적 접근법

**VaseAgent**: 2D 이미지와 3D 아티팩트를 지원하는 멀티모달 인식, 3D 인식 추론, 외부 지식 검색, 추론 시 신뢰도 제어를 수행.
**DeepResearch 스타일의 외부 지식 수집**: LIMC, 박물관 카탈로그, 고전 아이콘ограф리 데이터베이스 등에서 증거를 수집.
**소스 수준 제어**: 불신뢰성 높은 소스를 억제하고, 다양한 증거 풀을 생성.
**응답 수준 제어**: 생성된 주장이 증거 풀과 일치하는지 확인하며, 중립적이고 증거 기반의 응답을 유도.
**GRPO 스타일 선택 메커니즘**: 학습 없이도 신뢰도 높은 응답을 선호.
**평가 데이터셋**: VaseVQA-3D의 3,000개 이상의 도자기 이미지 중 518개를 LIMC와 연결하여 구성.

주요 결과

**V+K(Visual + Knowledge) 질문에서 정확도 +12.3%**, **링크 유효성 +18.7%**, **중립성 +21.4%** 향상.
**VaseMuseum은 hallucination 감소율 34.1%**, **신뢰도 높은 응답 비율 82.6%** 달성.
**K=4일 때 최적의 신뢰도-효율성 균형**을 보여, GRPO 스타일 선택 메커니즘의 효과 검증됨.
**LIMC 기반 평가셋에서 100개의 질문당 평균 7.2개의 신뢰할 수 있는 링크 생성**.

의의 및 한계

VaseMuseum은 문화유산 분야에서 신뢰성 있는 멀티모달 대화를 가능하게 하며, **VLM의 추론 시 신뢰도 제어**를 학습 없이도 구현한 사례로 주목받는다. 특히, **증거 기반 응답 생성**과 **중립성 유도**는 문화유산 박물관에서 필수적인 기능이다. 그러나 **모든 외부 자료가 완전하거나 일관되지 않기 때문에**, 일부 질문에서는 **정확한 답변이 어려울 수 있다**. 또한, **모듈별 독립적 업데이트가 가능하지만**, 전체 시스템의 통합성 유지가 필요하다는 한계도 존재한다.

실용적 활용

VaseMuseum은 **고대 도자기 연구**, **박물관 디지털 전시**, **교육용 가상 박물관** 등에서 활용 가능하다. 특히, **3D 아티팩트와 자연어 질문을 결합한 상호작용**이 필요한 문화유산 분야에서 실용적 가치가 높다.