S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement?

Large language models (LLMs) increasingly interact with external environments and accumulate substantial behavioral experience, yet existing agent benchmarks largely evaluate them as fixed policies. It therefore remains unclear whether an agent can actively test its behavior, judge the resulting experience, and use that experience to improve future decisions. We introduce S\textsuperscript{3Gym}, an interactive benchmark for evaluating LLM self-improvement through three coupled capabilities: Self-Testing, Self-Judging, and Self-Improvement. S^3Gym separates permissive exploration from strict held-out evaluation and instantiates this protocol in seven text-based games with executable environment verifiers. We evaluate three pathways for incorporating interaction experience: direct History ICL, score-conditioned Summary Memory, and parameter Training. Our experiments reveal that self-improvement is neither automatic nor uniform. Context-level experience improves performance for several model--game pairs, but the most effective pathway depends strongly on the task structure: summaries are beneficial when experience can be compressed into reusable strategic rules, yet often underperform raw history when success depends on precise, state-contingent information. Parameter training produces substantial gains on some tasks, but also exhibits unstable improvement and severe negative transfer on others. These findings show that recognizing successful actions is insufficient; agents must also transform feedback into executable and transferable policies. S^3Gym provides a unified framework for diagnosing this process and identifying the bottlenecks that prevent agents from translating interaction experience into reliable self-improvement.

한 줄 요약

S3Gym은 LLM이 자가 테스트, 판단, 개선을 통해 성능을 향상시킬 수 있는지 평가하는 대화형 벤치마크이다.

핵심 기여도

S3Gym이라는 새로운 벤치마크를 제안하여, LLM의 자가 개선 능력을 세 가지 연계된 능력(Self-Testing, Self-Judging, Self-Improvement)으로 평가.
History ICL, Summary Memory, Parameter Training 세 가지 경험 통합 경로를 비교 평가.
각 게임에서 Summary Memory는 전략적 규칙이 재사용 가능한 경우에 유리하며, Parameter Training은 일부 작업에서 큰 성능 향상을 보임.
Self-Judging의 정확성과 경험의 전이 가능성 간의 관계를 명확히 평가.

핵심 아이디어

기존 연구는 LLM을 고정된 정책으로 평가하는 데 초점을 맞추었으나, S3Gym은 LLM이 스스로 행동을 테스트하고, 경험을 판단하고, 이를 바탕으로 미래 결정을 개선할 수 있는지 평가하는 새로운 프레임워크를 제시한다. 이는 경험 기반 학습 이론(Dewey, Kolb, Popper)을 기반으로, 경험을 단순히 수집하는 것 이상으로 반성하고 재적용하는 과정이 필요하다는 통찰에서 출발한다.

S3Gym은 Exploration Phase와 Evaluation Phase로 구성되며, Exploration Phase에서는 상대적으로 느슨한 환경에서 다양한 전략을 시도하고, Evaluation Phase에서는 엄격한 환경에서 성능을 평가한다. 이는 Self-Judging의 정확성과 경험의 전이 가능성 간의 관계를 분석하는 데 핵심적이다.

기술적 접근법

**S3Gym**: 7개의 텍스트 기반 게임(Chess, Minesweeper, Nullify, Tetris, Snake, PvZ, Trust Evolution)을 사용한 대화형 벤치마크. 각 게임은 실행 가능한 환경 검증기와 함께 제공되어, 객관적인 점수를 제공.
**경험 통합 경로**:
**History ICL**: 과거 상호작용을 직접 문맥 학습(Context-Level Learning)에 활용.
**Summary Memory**: 성공 경험을 요약하여 전략적 규칙으로 재사용.
**Parameter Training**: 선택된 경험을 기반으로 파라미터 업데이트를 수행.
**Self-Judging**: 모델이 생성한 판단과 환경 검증기의 결과를 비교하여 판단의 정확성을 평가.

주요 결과

**Summary Memory**는 전략적 규칙이 재사용 가능한 게임에서 성능 향상 효과가 있었으나, 정밀한 상태 정보가 필요한 게임에서는 **History ICL**이 더 우수함.
**Parameter Training**은 일부 작업에서 1.6× 가속과 같은 성능 향상을 보였으나, 다른 작업에서는 **음의 전이(negative transfer)**가 발생.
**Self-Judging의 정확성**이 경험의 전이 가능성에 직접적으로 영향을 미침.

의의 및 한계

S3Gym은 LLM이 경험을 기반으로 스스로 개선할 수 있는지 평가하는 첫 번째 통합 프레임워크로, 학술적으로는 경험 기반 학습 이론을 실증적으로 검증할 수 있는 도구로 가치가 있다. 또한, 실용적으로는 LLM이 실제 환경에서 지속적으로 개선되도록 설계하는 데 기초가 될 수 있다.

그러나, 현재의 Parameter Training은 불안정한 개선 경향과 음의 전이 문제가 있으며, Summary Memory는 판단 품질에 크게 의존한다는 한계가 있다. 이는 향후 연구에서 판단 정교화, 메모리 선택, 트레이드 필터링 기법 개선이 필요함을 시사한다.

실용적 활용

S3Gym은 자율 에이전트가 반복적인 환경 상호작용을 통해 스스로 개선하는 능력을 평가하는 데 활용될 수 있다. 예를 들어, 소프트웨어 엔지니어링, 자동화된 연구, 개방형 의사결정 시스템 등에서 LLM이 경험을 기반으로 지속적으로 성능을 향상시킬 수 있는지 평가하는 데 사용될 수 있다.