Abstract
The widespread adoption of camera-equipped mobile devices and wearables has enabled convenient capture of meal images, making food recognition a key component for real time dietary monitoring. However, real-world food images present challenges due to high intra-class similarity and the frequent presence of multiple food items within a single image. While deep learning models achieve strong performance in coarse grained classification, they often struggle to capture fine-grained attributes such as cooking style. Moreover, open-ended generation in modern vision-language models can produce non-canonical labels, limiting their practical deployment. We propose FoodCHA, a multimodal agentic framework that reformulates food recognition as a hierarchical decision-making process. By progressively anchoring predictions, FoodCHA guides subcategory identification using high-level categories and guides cooking style recognition using subcategories, improving semantic consistency and attribute-level discrimination. To ensure practical deployability, FoodCHA utilizes the compact Moondream-2B vision language model, which provides strong reasoning capability while maintaining lower computational and memory overhead. Experiments on FoodNExTDB show that FoodCHA outperforms Food-Llama-3.2-11B by 13.8% and 38.2% in category and subcategory recognition precision, respectively, and achieves a striking 153.2% improvement in cooking style classification precision.
한국어 요약
📋 한 줄 요약
**[멀티모달 LLM / 음식 분석]** 음식 이미지의 미세한 차이까지 이해하는 다중 모달 LLM 에이전트 FoodCHA를 제안하여 fine-grained 음식 인식과 영양 추정을 통합 수행한다.
🎯 핵심 기여도
- 음식 이미지의 시각적 디테일과 영양 정보를 결합 추론하는 멀티모달 에이전트 프레임워크 FoodCHA 제안
- 조리법(cooking-style) 분석을 위한 새로운 평가 지표(Recall, EWR) 도입 (Fig. 4 참조)
- 식재료/조리방식/포션 사이즈를 단계적으로 추론하는 chain-of-evidence 파이프라인 설계
- 기존 단일 모델 대비 fine-grained 음식 분류 정확도와 영양 정보 추정의 일관성 향상
💡 핵심 아이디어
일반적인 비전 모델은 "비빔밥"을 인식할 수 있지만 식재료 비율, 조리법 차이, 영양가 차이는 구분하지 못한다. FoodCHA는 멀티모달 LLM 에이전트가 이미지를 단계적으로 검토하면서 시각 단서와 도메인 지식을 결합해 fine-grained 정보를 추출한다.
🔬 기술적 접근법 (Figure 1 참고)
- **모델/방법론**: FoodCHA — 멀티모달 LLM 기반 음식 분석 에이전트 (개요는 Figure 1 참조)
- **핵심 기법**: 이미지 입력을 받아 (1) 음식 종류 식별, (2) 조리 스타일 분석, (3) 식재료/포션 추정의 다단계 추론을 수행. 각 단계에서 시각 단서를 명시적으로 grounding
📊 주요 결과 (Fig. 4 참고)
- 조리 스타일 분류에서 baseline 대비 Recall과 EWR(Evidence-Weighted Recall) 지표 모두 개선
- 미세한 조리법 차이까지 포착 가능한 first benchmark
- ablation에서 chain-of-evidence 단계가 최종 정확도에 결정적임을 확인
💭 의의 및 한계
**의의**: 헬스케어/다이어트 앱에서 사진 한 장으로 정확한 영양 정보를 제공하는 실용 시스템의 기반. 멀티모달 LLM의 fine-grained 분석 능력을 음식 도메인에 본격 적용한 초기 작업.
**한계**: 비주류 지역 음식이나 새로운 조리법에는 일반화가 제한될 수 있고, 영양가 정확도는 추정치로 의료 목적 사용에는 부적합.
🚀 실용적 활용
- 다이어트/헬스케어 앱의 사진 기반 영양 추적 자동화
- 식품 검사·인증 워크플로우 보조
- 레시피 추천 / 외식 메뉴 분석 서비스