OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

Large Language Models (LLMs) perform well on many language tasks, but their Theory of Mind (ToM) reasoning is still uneven in complex social settings. Existing benchmarks, including ExploreToM, do not always test the recursive beliefs and information asymmetries that make these settings difficult. This paper presents OSCToM (Observer-Self Conflict Theory of Mind), an approach for modeling nested belief conflicts in LLM-based ToM tasks. The key case is one in which an observer's view of another agent conflicts with the observer's own belief state. Such cases go beyond simple perspective-taking and require recursive, multi-layered reasoning. OSCToM combines reinforcement learning (RL), an extended domain-specific language, and compositional surrogate models to generate observer-self conflicts. In our experiments, OSCToM-8B gives the best overall result among the systems tested. It improves on the reported ExploreToM results on FANToM and remains competitive on Hi-ToM and BigToM. On the information-asymmetric FANToM benchmark, OSCToM reaches 76% accuracy, compared with the 0.2% reported by ExploreToM. The data-synthesis procedure is also 6x more efficient, indicating that targeted training data can help smaller models handle advanced cognitive reasoning. The project code is available at https://github.com/sharminsrishty/osct.

한 줄 요약

**[Theory of Mind / RL Adversarial Generation]** OSCToM이 observer-self conflict로 nested belief 충돌을 RL·DSL·compositional surrogate로 생성, 8B 모델이 FANToM 76%(ExploreToM 0.2%)·6× efficient data synthesis로 high-order ToM 향상.

핵심 기여도

LLM이 많은 언어 task에 강하지만 복잡 사회 환경의 Theory of Mind(ToM) reasoning은 여전히 uneven함을 진단.
기존 벤치(ExploreToM 포함)가 이러한 환경의 어려움을 만드는 recursive belief·정보 비대칭을 항상 평가하지 않음을 지적.
OSCToM(Observer-Self Conflict Theory of Mind) 제안 — LLM 기반 ToM task의 nested belief conflict 모델링.
Key case는 observer가 다른 agent에 대해 가진 시각이 observer 자신의 belief state와 충돌하는 경우 — 단순 perspective-taking을 넘어 recursive·multi-layered reasoning 요구. RL·확장 DSL·compositional surrogate 모델을 결합해 observer-self conflict 생성.

핵심 아이디어

LLM의 high-order ToM은 단순 perspective-taking이 아니라 observer 자신과 observer의 다른 agent 인식 사이 nested 충돌의 recursive reasoning이 핵심이며, 이를 RL+DSL+compositional surrogate로 adversarial 생성하면 소형 모델도 frontier 수준의 ToM 능력에 도달한다.

기술적 접근법

**방법론**: OSCToM — RL-Guided Adversarial Generation + 확장 DSL + compositional surrogate.
**핵심 기법**: (1) Observer-self conflict의 nested belief 형식화, (2) ToM task의 확장 domain-specific language 설계, (3) RL로 어려운 conflict scenario 생성 가이드, (4) Compositional surrogate 모델로 conflict 복잡도 점진 증가, (5) 8B 모델 학습·평가.

주요 결과

OSCToM-8B가 테스트 시스템 중 best overall 결과.
ExploreToM 결과를 FANToM에서 개선, Hi-ToM·BigToM에서 competitive.
정보 비대칭 FANToM에서 76% 정확도 — ExploreToM 보고 0.2% 대비 dramatic 향상.
데이터 합성 procedure 6× 효율 — targeted 학습 데이터로 소형 모델의 advanced cognitive reasoning 가능 입증.
코드 공개: github.com/sharminsrishty/osct.

의의 및 한계

**의의**: high-order ToM의 adversarial 학습 데이터 합성 방법론 정립, 소형 모델로 frontier ToM 능력 도달, observer-self conflict라는 새 어려움 축 정립. **한계**: DSL·compositional surrogate 의존, social reasoning task에 특화, 매우 깊은 nested belief의 일반화는 추가 검증.

실용적 활용

LLM의 사회·심리 reasoning 학습.
ToM 평가·강화 데이터 합성.
대화·에이전트의 belief modeling.