Poor Man's Agentic Modeling: Simulating Large LLM-Agent Societies on a Laptop

Simulating societies of many large language model (LLM) agents is expensive, yet the questions asked of such simulations are usually macroscopic: phase behaviour, stylised facts, and scaling with the number of agents $N$, not the cognition of any single agent. We turn a statistical-physics observation into a method: replace each LLM agent by a low-parameter model fitted from a few hundred to a few thousand cheap queries, then run the society at any $N$ on a laptop. Whether this works is decided before the simulation runs, chiefly by what each agent perceives. We introduce an [interaction order x memory] taxonomy that maps perception and memory to an effective theory and a predicted $N$-trend of the surrogate error. We validate it on a faithful reimplementation of the LLM macroeconomy EconAgent and seven further named LLM simulations, with agent decisions cloned from genuine LLM elicitations (primarily DeepSeek) for a few dollars; the predicted error trends hold cell by cell, and the two refuted predictions, both on a strongly saturating response and traced to its curvature, are themselves matched quantitatively by the theory with no free parameters.

한 줄 요약

LLM 에이전트 사회 시뮬레이션을 저비용으로 대체할 수 있는 방법을 제안하며, 경제 시뮬레이션 EconAgent 등 8개 시스템에서 정량적으로 검증한다.

핵심 기여도

[interaction order × memory] 세포 분류법을 제안하여, 에이전트의 인지 구조에 따라 대체 모델의 오류 추세(N-1/2, O(1), 증가)를 예측.
EconAgent, AgentTorch, OASIS 등 8개 시스템에서 DeepSeek 기반의 실제 LLM 결정을 몇 달러의 비용으로 클론하여 대체 모델 검증.
Phillips 곡선과 같은 거시적 법칙이 단일 인자(노동 주기성 계수)에 의해 생성됨을 밝혀, 대체 모델이 측정 도구로 활용 가능함을 보여.

핵심 아이디어

대규모 LLM 에이전트 사회 시뮬레이션은 비용이 높지만, 연구 목적은 대부분 거시적 현상(예: 경기 주기, 의견 극단화)에 대한 것이다. 이 연구는 통계물리학의 통찰을 기반으로, 각 에이전트가 인지하는 정보의 구조(전체적 평균 vs. 지역적 신호)에 따라 대체 모델의 성능을 예측할 수 있음을 제시한다. 예를 들어, 전체적 인플레이션율을 인지하는 에이전트는 mean-field 세포에 속하며, 오류가 N-1/2로 감소하는 반면, 지역적 신호만 인지하는 경우 오류가 O(1) 또는 증가한다. 이는 추상적 대체 모델이 아닌, 실제 LLM 결정을 몇백~몇천 개의 쿼리로 학습한 12개 파라미터의 로지스틱 헤드 모델을 통해 검증된다.

기술적 접근법

**대체 모델 학습**: 실제 LLM(주로 DeepSeek)으로부터 몇백~몇천 개의 에이전트 결정을 수집한 후, 행동 클로닝을 통해 12개 파라미터의 로지스틱 헤드(노동 결정, 소비 성향)로 학습.
**세포 분류 알고리즘**: `classify_cell` 모듈을 통해 인지 구조(전체 vs. 지역)와 기억 구조를 기반으로 세포를 분류.
**오류 추세 예측**: `perception_floors` 모듈을 통해 대체 모델의 오류 추세를 예측.
**실험 환경**: NumPy로 재구현한 EconAgent 환경에서 대체 모델을 실행하며, DeepSeek 쿼리는 Anthropic 호환 엔드포인트를 통해 수행. 총 비용은 몇 달러에 불과.

주요 결과

**EconAgent**: 대체 모델이 Phillips 곡선을 재현하며, 단일 노동 주기성 계수로 거시적 법칙을 예측.
**오류 추세**: 예측된 오류 추세가 셀 단위로 정확히 일치. 두 가지 예측 실패 사례는 모두 강한 포화 응답의 곡률로 인해 이론과 정량적으로 일치.
**다른 시뮬레이션**: AgentTorch, OASIS, Generative Agents 등 7개 시스템에서 대체 모델이 거시적 특성을 재현.
**비교 성능**: 실제 LLM 대비 1.6× 이상의 가속화, 1/1000 수준의 비용 절감.

의의 및 한계

이 연구는 대규모 LLM 사회 시뮬레이션을 저비용으로 실행할 수 있는 기반을 제공하며, 거시적 현상이 단일 인자에 의해 생성되는 경우 이를 측정 도구로 활용할 수 있음을 보여준다. 특히, 대체 모델의 파라미터가 추정된 것이 아닌 학습된 점에서, 거시적 법칙이 미시적 인자에 의해 생성되는 구조를 측정할 수 있다는 점이 학술적 가치가 있다. 그러나 지역적 구조가 강한 시뮬레이션에서는 대체 모델의 오류가 커질 수 있으며, 이 경우 블록, 그래폰, 페어-플러스-메모리 클로저 등 복잡한 구조를 고려해야 한다는 한계가 있다.

실용적 활용

이 방법은 경제 모델링, 사회 시뮬레이션, 감염병 전파 연구 등 대규모 LLM 에이전트 사회를 필요로 하는 연구 분야에서 저비용으로 대규모 실험을 가능하게 한다. 특히, 학계나 소규모 연구팀이 LLM 기반 시뮬레이션을 접근할 수 있도록 장벽을 낮추는 데 기여할 수 있다.