NeuroCogMap Reveals Cognitive Organization of Large Language Models

Understanding how complex cognitive functions are organized within artificial systems is central to interpreting large language models (LLMs) and relating them to biological cognition. Yet although LLMs exhibit broad cognitive-like behaviours, it remains unclear whether their internal representations form reproducible functional systems that explain behaviour, failure and links to human cognition. Here we present NeuroCogMap, a cognitive neuroscience-inspired framework that organizes internal features of LLMs into functional parcels and links them to interpretable functions, cognitive capabilities and a cognitive hierarchy. These parcels form a stable and semantically coherent organization that is partly conserved across models and functionally linked to model outputs. Within this organization, major LLM failures, including hallucination, bias, refusal failure and sycophancy, correspond to distinct disruptions in representational and behavioural-control systems, yielding internal signatures for mechanism-guided detection and targeted intervention. Beyond model behaviour, NeuroCogMap improves prediction of human cortical responses during naturalistic language comprehension, with the strongest correspondence in higher-order association cortex. At the cognitive level, its internal signatures expose latent strategies that guide refinements of classical models of human decision-making. Together, these findings establish NeuroCogMap as a system-level framework for mapping functional organization in artificial systems and for relating this organization to human cortical function and cognitive behaviour.

한 줄 요약

NeuroCogMap은 LLM 내부 기능 구조를 인지 신경과학적 프레임워크로 매핑하여 인공 및 생물학적 인지 간 연결을 제시한다.

핵심 기여도

NeuroCogMap은 LLM 내부 특성을 기능적 파셀로 분류하고, 인지 기능과 계층으로 매핑하는 프레임워크를 제시.
환상, 편향, 거부 실패, 서큐파니 등 주요 LLM 실패가 특정한 기능적 시스템의 붕괴와 연관됨을 밝힘.
LLM 기반 인코딩이 인간 뇌 활성 예측 정확도를 향상시킴 (특히 고차원 연합 피질에서).
LLM 내부 구조가 인간 결정 모델 개선에 기여함을 보임.

핵심 아이디어

NeuroCogMap은 인지 신경과학에서 유래한 기법을 LLM 해석에 적용한 시스템 수준의 프레임워크이다. 기존 연구는 LLM의 행동 또는 메커니즘 수준만 다루는 데 한계가 있었으나, NeuroCogMap은 기능적 파셀화(functional parcellation), 대표성 매핑, 계층적 추상화, 병리적 추론을 결합하여 LLM 내부 구조를 다층적으로 분석한다. 이는 LLM이 어떻게 인지 기능을 조직화하고, 실패를 유발하며, 인간 뇌와 어떻게 연결되는지를 이해하는 데 기여한다. 구체적으로, SAE(스파스 오토인코더) 활성화를 추출하고, 태스크 유발 반응 프로파일에 따라 기능적 파셀을 클러스터링한 후, 이들을 인지 기능과 계층 구조에 매핑한다.

기술적 접근법

**기능적 파셀링**: SAE 활성화를 기반으로 기능적 파셀(functional parcels)을 클러스터링.
**인지 대조도(cognitive atlas)**: 파셀을 인지 기능 및 능력에 매핑.
**인지 계층(cognitive hierarchy)**: 감각, 표현, 추상화, 적용 단계로 구성된 계층 구조.
**병리 분석**: 환상, 편향, 거부 실패, 서큐파니와 같은 실패 유형을 기능적 시스템의 붕괴로 분석.
**인간 뇌 대응 분석**: NeuroCogMap 파셀 활성도가 자연어 이해 시 인간 피질 반응 예측을 개선.
**모델**: Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B 모델 사용.

주요 결과

**LLM 실패 분석**: 환상과 편향은 표현 선택 및 평가 시스템의 붕괴와 연관됨. 거부 실패와 서큐파니는 표현 조절 시스템의 실패와 관련됨.
**인간 뇌 대응**: NeuroCogMap 파셀 활성도가 자연어 처리 시 인간 피질 반응 예측 정확도를 향상시킴 (고차원 연합 피질에서 가장 높음).
**인지 모델 개선**: LLM 기반 시뮬레이션에서 숨겨진 전략을 발견하여 인간 결정 모델의 설명력을 향상시킴.
**모델 간 일관성**: 파셀 구조는 모델 종류와 학습 단계에 따라 부분적으로 보존됨.

의의 및 한계

NeuroCogMap은 LLM의 내부 인지 구조를 시스템 수준에서 분석하는 데 기여하며, 인공 및 생물학적 인지 간 비교를 가능하게 한다. 특히, 실패 원인을 메커니즘 수준에서 진단하고 개입할 수 있는 내부 시그니처를 제시한다. 또한, LLM이 인간 뇌와 기계적으로 동일하지 않더라도, 기능적 조직 수준에서 유사성을 탐색할 수 있다는 점에서 학술적 가치가 있다. 그러나 현재 분석은 텍스트 기반 LLM에만 적용되었으며, 더 큰 모델, 다양한 아키텍처, 멀티모달 시스템으로 확장이 필요하다. 또한, 인간 인지와 LLM 인지 간 기능적 대응은 공간적 또는 메커니즘적 동등성보다는 기능적 조직 수준에서만 검증되어야 한다는 한계가 있다.

실용적 활용

NeuroCogMap은 LLM의 안정성 및 신뢰성 향상을 위한 내부 실패 진단 및 개입 전략 수립에 활용될 수 있다. 또한, 인간 인지 모델 개선 및 뇌-기계 인터페이스 연구에 기초 자료로 사용될 수 있으며, 인공지능 시스템의 인지 구조를 체계적으로 분석하는 데 기여할 수 있다.