CaRGo-T: Causal Reasoning Graph-of-Thought improves Multimodal Humor Comprehension

Large-scale vision-language models (VLMs) have demonstrated remarkable versatility across a wide range of multimodal tasks. However, understanding humor remains challenging because humorous content often depends on subtle interactions among entities, events, context, and implicit relationships across image and text modalities. These interactions can involve complex chains of reasoning that are difficult to capture through conventional prompting or linear chain-of-thought reasoning. In this work, we propose CaRGo-T (Causal Reasoning Graph-of-Thought), a reasoning framework that represents the causal and contextual relationships underlying multimodal humor as a lightweight graph-based reasoning structure. The graph is serialized into a code-based representation generated by a VLM, which can subsequently be interpreted by the same or a different VLM to produce the final prediction in zero-shot or in-context learning settings. We evaluate CaRGo-T on humor understanding and humor detection across four datasets spanning diverse forms of comedic content, including satire, sarcasm, and memes. Experiments with state-of-the-art commercial and open-source VLMs show that CaRGo-T consistently improves performance over existing reasoning-based baselines, achieving gains of approximately 1-20% on humor understanding and 1-3% on humor detection. Further analysis using mutual information indicates that the reasoning representations produced by CaRGo-T contain more information relevant to the target output than those generated by baseline reasoning approaches. Code is available at https://github.com/abhi1nandy2/CaRGo-T.

한 줄 요약

CaRGo-T는 멀티모달 유머 이해를 위해 인과 관계를 그래프로 표현하는 새로운 추론 프레임워크로, 기존 방법 대비 1-20% 성능 향상을 보인다.

핵심 기여도

CaRGo-T는 VLM을 활용해 인과 관계를 그래프 형태로 추출하고, 이를 추론 성분으로 활용하는 새로운 프레임워크를 제안.
인과 추론 그래프(Causal Reasoning Graph, CRG)를 기반으로, 기존 Chain-of-Thought(CoT)나 CoD 대비 시스템적 인과 추론과 조합적 추론을 가능하게 함.
4개의 유머 데이터셋에서 평가했으며, Humor Understanding에서 1-20%, Humor Detection에서 1-3% 개선.
추론 성분의 상호 정보량 분석을 통해 CaRGo-T가 타겟 출력과 더 관련된 정보를 포함함을 입증.

핵심 아이디어

CaRGo-T는 유머 이해에 필요한 복잡한 인과 관계와 맥락적 정보를 그래프 구조로 표현함으로써, 기존 자연어 기반 추론 방식(CoT, CoD)의 한계를 극복한다. 유머는 사람, 객체, 개념, 사건 간의 비선형적 상호작용과 맥락적 불일치를 기반으로 하기 때문에, 이를 단순한 자연어 체인으로 표현하기에는 한계가 있다. CaRGo-T는 VLM을 활용해 이러한 관계를 **Causal Reasoning Graph (CRG)**로 시리얼라이즈하고, 이를 추론 성분으로 활용한다. CRG는 인과 관계만을 포함하는 결정론적 구조로, 각 노드는 객체, 개념, 사건, 참여자 등을 나타내며, 간단한 메타데이터만 포함된다. 이는 유머의 핵심 요소인 **관계적 불일치**와 **이벤트 중심의 인과 구조**를 정확히 포착할 수 있도록 한다.

기술적 접근법

**CaRGo-T 프레임워크**: VLM이 멀티모달 입력(이미지 + 텍스트)을 바탕으로 CRG를 생성. 이는 코드 기반의 가벼운 추론 스크립트로 표현됨.
**CRG 구성 요소**: 객체, 개념, 사건, 참여자 간의 인과 관계만 포함. 확률적 파라미터 없이 결정론적 구조.
**추론 과정**: 생성된 CRG는 동일하거나 다른 VLM이 해석하여 최종 예측을 도출.
**비교 기준**: CoT, CoD, CCoT 등 기존 추론 기반 방법과 비교.
**데이터셋**: YesBut, Satire, Sarcasm, Meme 등 4개 유머 데이터셋 사용.
**평가 지표**: Humor Understanding은 BLEU, ROUGE-L, BERTScore, Avg. Score; Humor Detection은 Accuracy, macro-F1.

주요 결과

**Humor Understanding**: CaRGo-T는 4개 데이터셋에서 기존 추론 기반 방법 대비 평균 1-20% 개선.
**Humor Detection**: 1-3% 개선.
**상호 정보량 분석**: CaRGo-T의 추론 성분이 기존 방법 대비 타겟 출력과 더 관련된 정보를 포함함.
**VLM 종류와 설정에 무관하게 성능 향상**: Zero-shot 및 in-context learning 설정 모두에서 효과적.

의의 및 한계

CaRGo-T는 멀티모달 유머 이해에서 인과 관계를 명시적으로 모델링함으로써, 기존 자연어 기반 추론 방식의 한계를 극복한 점에서 학술적 의의가 있다. 특히, 유머의 핵심 요소인 **관계적 불일치**와 **비선형 인과 구조**를 정확히 포착할 수 있어, 사회적 유머와 관련된 복잡한 상황에서도 유용하다. 또한, VLM에 종속되지 않는 프레임워크로, 다양한 모델에 적용 가능하다는 실용적 장점이 있다. 그러나 CRG 생성 과정에서 VLM의 편향이 그대로 반영될 수 있으며, 수동적인 예시 수정이 필요하다는 한계가 있다. 또한, CRG의 해석 과정에서 다른 VLM이 정확히 해석하지 못하는 경우도 발생할 수 있다.

실용적 활용

CaRGo-T는 멀티모달 콘텐츠 분석이 필요한 산업, 예를 들어 SNS 감정 분석, 콘텐츠 모니터링, 챗봇의 유머 이해 능력 향상 등에 적용 가능하다. 또한, 사회적 상호작용을 이해하는 AI 연구 분야에서 인과 관계 모델링의 새로운 접근법으로 활용될 수 있다.