MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use

Memory has become a key component of large language models, enabling them to retain information and learn from long-term interactions. However, existing memory benchmarks mainly evaluate whether information is correctly extracted, stored, and retrieved, while largely overlooking how retrieved memories reshape model reasoning and affect performance on the current task. We identify memory-induced cognitive traps: even faithfully recorded and semantically relevant memories can distort model reasoning or beliefs and degrade current task performance. To systematically evaluate these failure modes, we introduce MemTrapBench, which covers two forms of cognitive traps: Reasoning Fixation and Belief Distortion. Experiments across two model families and five representative memory frameworks show that MemTrapBench is challenging: all evaluated memory strategies underperform the no-memory setting, with even the strongest methods suffering drops of more than 10%. To mitigate these cognitive traps, we propose AdaptiveMem, a simple yet effective inference-time method that instructs LLMs to avoid memory traps. AdaptiveMem mitigates cognitive traps on MemTrapBench while preserving or improving performance on standard memory benchmarks across diverse memory frameworks.

한 줄 요약

MemTrapBench는 LLM의 메모리 사용 시 발생하는 인지 함정을 평가하는 벤치마크로, AdaptiveMem이라는 간단한 추론 시 보완 전략을 제안한다.

핵심 기여도

**MemTrapBench**라는 새로운 벤치마크를 제안하여, 메모리 유도 인지 함정(Reasoning Fixation, Belief Distortion)을 체계적으로 평가.
두 모델 패밀리(Gemini, Qwen)와 다섯 메모리 프레임워크에서 실험한 결과, 모든 메모리 전략이 무메모리 설정 대비 10% 이상 성능 하락.
**AdaptiveMem**이라는 추론 시 메모리 함정 회피 전략을 제안, LightMem 기반에서 14.9% 성능 향상.
인지 함정이 단순히 과거 정보의 오류가 아닌, **정확한 메모리가 오히려 추론 전략을 왜곡**하는 현상을 밝힘.

핵심 아이디어

기존 메모리 벤치마크는 메모리의 추출, 저장, 검색 정확도에 집중하지만, **메모리가 현재 작업의 추론 과정과 믿음을 어떻게 왜곡하는지**는 거의 고려하지 않았다.
저자들은 이 현상을 **메모리 유도 인지 함정**(memory-induced cognitive traps)으로 정의하고, 두 가지 주요 유형을 제시한다:

**Reasoning Fixation**: 과거 성공 전략에 고착되어 새로운 해결책을 탐색하지 못함. 예: 24 게임에서 과거의 사칙연산에만 집착하여 팩토리얼을 사용하지 못함.
**Belief Distortion**: 과거 피드백이나 편향된 정보로 인해 올바른 판단을 억제함. 예: 에피네프린 사용에 대한 부정 피드백이 새로운 환자에게도 적용되어 올바른 치료를 막음.

이러한 함정은 **정확한 메모리 내용**이더라도 발생하며, 기존 메모리 관리 단계의 오류와는 별개의 문제이다.

기술적 접근법

**MemTrapBench 구성**: 1,050개의 인스턴스로 구성된 벤치마크. 4개 시나리오, 2개 범주(Reasoning Fixation, Belief Distortion)로 분류.
**AdaptiveMem**: 추론 시 메모리 함정을 인식하고 회피하도록 LLM을 안내하는 **프롬프트 기반 전략**. 기존 메모리 프레임워크에 직접 통합 가능.
**실험 설정**: Gemini-3-Flash-Preview, Qwen3-30B-A3B-Instruct-2507 모델과 4개 메모리 프레임워크 사용.
**평가 지표**: 정답률(correctness), 형식(format), 관련성(relevance), 효율성(efficiency) 4가지 차원으로 평가. GPT-5.2와 Claude Sonnet 4.6을 주요 평가자로 사용.

주요 결과

**Gemini-3-Flash-Preview와 Qwen3-30B-A3B-Instruct-2507**에서 모든 메모리 전략이 무메모리 설정 대비 10% 이상 성능 하락.
**AdaptiveMem**은 LightMem 기반에서 **MemTrapBench 성능을 14.9% 향상**시키며, 일반 메모리 성능은 유지 또는 향상.
Trauma 범주에서 부정 피드백 제거 시 정확도가 66.40% → 91.07%로 증가.
Task Boundary에서 trap-inducing 설정 시 성능이 94.39% → 31.05%로 급락.

의의 및 한계

MemTrapBench는 기존 메모리 관리 단계의 성능 평가를 넘어, **메모리가 추론 전략과 믿음을 어떻게 왜곡하는지**를 평가하는 첫 벤치마크로, LLM의 메모리 사용 신뢰도를 높이는 데 기여한다.
AdaptiveMem은 기존 메모리 프레임워크에 즉시 적용 가능한 간단한 프롬프트 기반 전략으로, 실제 추론 환경에서 유용할 수 있다.
하지만, AdaptiveMem은 **모델 아키텍처를 변경하지 않으며**, 모든 메모리 함정을 완전히 해결하지는 못한다는 한계가 있다. 또한, **MemTrapBench는 인공적으로 설계된 시나리오에 기반**하므로, 실제 대화 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

MemTrapBench는 대화형 AI, 챗봇, 에이전트 등에서 메모리 사용 시 발생할 수 있는 인지 함정을 평가하는 데 활용 가능하다.
AdaptiveMem은 메모리 기반 추론 시스템에서 **추론 전략의 유연성과 안정성을 동시에 유지**하고자 하는 산업 및 연구 분야에서 즉시 적용할 수 있다.