한 줄 요약
EvolvingWorld는 인터랙티브 문학 세계에서 캐릭터와 세계가 공진화하도록 지원하는 오픈스키마 프레임워크와 벤치마크이다.
핵심 기여도
- **7개의 학습 가능한 태스크** (scene initialization, interaction generation, state update 등)를 제안하여 장기적 시뮬레이션을 구조화.
- **57개의 책**에서 138,596개의 지도 학습 샘플과 222개의 테스트 스냅샷을 포함한 **대규모 데이터셋**을 구축.
- **10차원, 20개 메트릭**을 포함하는 **trajectory-level LLM-as-Judge 평가 프로토콜**을 도입.
- **Character Agent와 World Model의 결합**을 통해 캐릭터와 세계 상태의 지속적, 일관된 발전을 달성.
핵심 아이디어
기존 시스템은 인터랙티브 문학 시뮬레이션을 정적 인격 모방 또는 고립된 장면 생성으로 제한하여, 캐릭터와 세계가 시간에 따라 함께 진화하는 과정을 포착하지 못한다. EvolvingWorld는 이 문제를 해결하기 위해 **장기적 시야(long-horizon)**에서 캐릭터 상호작용, 장면 진행, 그리고 캐릭터와 세계 상태의 지속적 업데이트를 모델링한다.
이를 위해 **오픈스키마(open-schema)** 프레임워크를 도입하여, 다양한 문학 세계에 걸쳐 시뮬레이션을 지원한다. 이는 캐릭터의 성격, 동기, 관계뿐만 아니라 장소, 객체, 배경 조건까지 포함한 **동적 상태 추적**을 가능하게 한다. 특히, **Character Agent**는 다중 캐릭터 역할 연기와 지속적 프로필 진화를 담당하고, **LLM 기반 World Model**은 전역 및 위치/엔티티 수준의 상태 유지와 장면 진행을 책임진다.
기술적 접근법
- **Character Agent**: 다중 캐릭터 역할 연기와 프로필 진화를 위한 모듈.
- **World Model**: 전역 및 위치/엔티티 수준의 상태 유지와 장면 진행을 위한 LLM 기반 모듈.
- **7개의 학습 가능한 태스크**: scene initialization, interaction generation, state update 등.
- **Hidden Tracker**: 프로필 업데이트를 위한 약한 또는 초기 단계의 증거를 저장.
- **데이터셋**: 57개 책에서 138,596개의 지도 학습 샘플, 222개 테스트 스냅샷.
- **LLM-as-Judge 평가 프로토콜**: 10차원, 20개 메트릭을 포함한 trajectory-level 평가.
주요 결과
- **138,596개의 지도 학습 샘플**과 **222개의 테스트 스냅샷**을 기반으로 학습.
- **20개 메트릭**을 사용한 평가에서, EvolvingWorld는 기존 시스템 대비 **장기적 시뮬레이션 성능 향상**을 보임.
- **20개 장면, 50개 상호작용**을 허용한 시뮬레이션에서 일관성과 발전성을 유지.
- **LLM-as-Judge 평가**에서 **CHARACTER와 WORLD 두 차원**에서 높은 점수를 기록.
의의 및 한계
EvolvingWorld는 인터랙티브 문학 세계 시뮬레이션에서 **캐릭터와 세계의 공진화**를 체계적으로 모델링한 첫 번째 프레임워크로, 장기적 발전을 지속적으로 유지하는 기반을 제공한다. 특히, **오픈스키마 구조**는 다양한 문학 세계에 대한 유연한 시뮬레이션을 가능하게 하며, **7개의 학습 가능한 태스크**는 모델의 구조화된 학습을 지원한다.
그러나, **특정 장르나 문학적 스타일에 대한 일반화 가능성**은 명시되지 않았으며, **인간 평가와 비교한 정량적 결과**는 부족한 것으로 보인다. 또한, **LLM-as-Judge 평가의 주관성**이 결과에 영향을 줄 수 있다는 한계도 존재한다.
실용적 활용
EvolvingWorld는 **AI 기반 문학 창작**, **게임 내 다이나믹 스토리 생성**, **교육용 인터랙티브 시뮬레이션** 등에 활용될 수 있다. 특히, **캐릭터와 세계가 시간에 따라 진화하는 시나리오**를 요구하는 분야에서 유용하며, **역할 연기 기반 대화 시스템**의 발전에도 기여할 수 있다.