Execution Before Memory: Diagnosing Memory Failures in Video World Models

A memory test for a video world model should say whether the scene was set, whether the asked change was carried out, and whether the last frame shows the result. Current tests fold these into one number, so a low score is easy to read as forgetting. When the change is not carried out, the hidden state transition cannot appear, so the test is not really a test of memory. We introduce MIST, an evaluation that separates the change from the memory it should leave behind. The model first sets the scene while the change stays hidden, and only later is asked to show it, with leakage before that point kept under control. This separation locates the bottleneck: the model sets the scene but does not carry out the instructed change. The same gap appears in general memory evaluations. On that basis we propose M3-Agent (Make the Missing Move), which recursively revises the details of the input instruction so that the model successfully carries out the requested instruction. Relative to the baseline, it more than triples the MIST reveal score. On the benchmarks, WRBench's score T rises by 26.1% and MBench-T's score U by 52.7%. The method meets the problem from the execution side: it shows what the frozen model can do once the move is stated, and it sets a stricter baseline.

한 줄 요약

비디오 월드 모델의 메모리 실패를 진단하기 위해 실행 단계와 메모리 단계를 분리하는 MIST 평가와 M3-Agent 알고리즘을 제안한다.

핵심 기여도

MIST 평가: 메모리 점수를 세 개의 질문(시작 설정, 변경 실행 여부, 최종 프레임 결과)으로 분리하여, 변경 누락을 단순히 '망각'으로 오인하지 않도록 한다.
실험 결과: MIST 평가에서 기존 베이스라인 대비 MIST reveal 점수가 0.147 → 0.492로 3배 이상 증가.
M3-Agent: 동일 모델에서 입력 지시문을 재귀적으로 수정하여 요청된 변경을 실행하게 함. WRBench T 점수는 26.1% (0.452 → 0.570), MBench-T U 점수는 52.7% (0.292 → 0.446) 상승.

핵심 아이디어

기존 메모리 평가가 단일 점수로 제공되므로, 변경이 실행되지 않았음에도 불구하고 이는 '망각'으로 오해될 수 있다. 이 논문은 메모리 평가를 세 가지 단계로 분리하는 MIST(Memory Isolation through Separation of Tasks)를 제안한다. 첫 번째 단계는 장면을 설정하는 것이고, 두 번째 단계는 변경을 실행하는 것이며, 세 번째 단계는 최종 프레임에서 변경이 반영되었는지를 확인하는 것이다. 이 분리 과정을 통해 메모리 실패의 진짜 원인을 파악할 수 있다. M3-Agent는 실행 단계에서 실패한 변경을 재귀적으로 수정하여 모델이 요청된 변경을 실행하게 만든다. 이는 추가적인 메모리 모듈 없이 동일한 모델에서 실행된다.

기술적 접근법

**MIST 평가**: 3가지 질문(시작 설정, 변경 실행 여부, 최종 프레임 결과)으로 평가.
**M3-Agent**: 입력 지시문을 재귀적으로 수정하여 요청된 변경을 실행하게 함.
**실험 환경**: Internal MIST는 Wan TI2V-5B, Official WRBench와 MBench-T는 Wan T2V-A14B, MiniMax-H3는 Internal 품질 평가에 사용.
**수치**: MIST reveal 점수는 0.147 → 0.492, WRBench T 점수는 26.1% 증가, MBench-T U 점수는 52.7% 증가.

주요 결과

**MIST 평가**: 43개 케이스 중 41개에서 변경이 실행되지 않음.
**WRBench T 점수**: 0.452 → 0.570 (26.1% 상승, n=40).
**MBench-T U 점수**: 0.292 → 0.446 (52.7% 상승, n=30).
**MIST reveal 점수**: 0.147 → 0.492 (3배 이상 증가).

의의 및 한계

MIST 평가는 메모리 실패의 원인을 명확히 분리함으로써, 단순한 점수 비교를 넘어 실패 원인을 진단할 수 있다. M3-Agent는 실행 단계에서의 문제를 해결함으로써, 동일한 모델이 요청된 변경을 실행할 수 있음을 보여준다. 그러나 이는 메모리가 실제로 저장되었는지는 증명하지 못한다. 또한, MIST 평가는 변경 실행 여부를 중점적으로 평가하지만, 메모리의 지속성이나 저장 능력은 평가하지 않는다.

실용적 활용

MIST 평가는 비디오 월드 모델의 메모리 실패를 진단하는 데 유용하며, M3-Agent는 실행 단계에서의 문제를 해결함으로써 실제 시스템에서의 성능을 개선할 수 있다. 이 접근법은 비디오 생성, 시뮬레이션, 인공지능 기반 애니메이션 제작 등에서 활용 가능하다.