GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

Despite the rapid progress of multimodal large language models in building Graphical User Interface (GUI) agents, their real-world task completion is fundamentally bottlenecked by a lack of world knowledge about GUI operations. Existing solutions typically rely on expensive multi-agent scaffolding or conventional post-training paradigms, such as Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL). However, post-training only allows agents to implicitly absorb world knowledge through action annotations or reward signals, leading to inefficient trajectory memorization rather than genuine comprehension. Therefore, an approach that enables explicit learning of this knowledge is imperative. To this end, we propose GUI-CIDER, a mid-training method that explicitly internalizes GUI world knowledge through Causal Internalization and Density-aware Exemplar Reselection. GUI-CIDER operates in three stages: (1) data synthesis, which distills static planning and dynamic causal knowledge from GUI trajectories into text; (2) exemplar reselection, which filters the corpus by rewarding causal structures and penalizing semantic redundancy; and (3) mid-training, where the refined data is used to embed the acquired knowledge. Extensive experiments on two GUI knowledge benchmarks and three task completion benchmarks demonstrate that GUI-CIDER consistently improves both the agent's understanding of GUI operations and its task success rates.The codes are available at https://github.com/Wuzheng02/GUI-CIDER.

📋 한 줄 요약

**[GUI 에이전트 / Mid-Training]** GUI-CIDER가 SFT·RL의 implicit knowledge 흡수 한계를 넘어 mid-training으로 causal·planning 지식을 explicit 내재화 — 3 단계(data synthesis·exemplar reselection·mid-training)로 2 GUI knowledge·3 task completion 벤치 일관 향상.

🎯 핵심 기여도

Multimodal LLM 기반 GUI 에이전트가 빠르게 진보하지만 GUI 조작에 대한 world knowledge 부족이 실세계 task 완수의 근본 병목임을 진단.
기존 해법(비싼 multi-agent scaffolding·SFT·RL post-training)이 action annotation·reward signal로 world knowledge를 implicit 흡수하게만 해 진정한 이해보다 inefficient trajectory memorization으로 이어진다는 한계 지적.
Mid-training으로 GUI world knowledge를 explicit 학습 가능하게 한다는 새 접근 imperative 제시.
GUI-CIDER 제안 — Causal Internalization과 Density-aware Exemplar Reselection으로 GUI world knowledge를 explicit 내재화, 3 단계: (1) data synthesis(GUI trajectory에서 static planning·dynamic causal knowledge를 텍스트로 distill), (2) exemplar reselection(causal structure 보상·semantic redundancy 페널티로 corpus 필터), (3) mid-training(정제 data로 지식 embed).

💡 핵심 아이디어

GUI 에이전트의 진정한 능력은 action annotation을 memorize하는 implicit post-training으로는 도달할 수 없고, trajectory에서 causal·planning 지식을 explicit 텍스트로 distill해 mid-training으로 embed하면 SFT·RL이 따라잡지 못하는 이해 수준에 도달할 수 있다.

🔬 기술적 접근법

**방법론**: GUI-CIDER — mid-training with Causal Internalization & Density-aware Exemplar Reselection.
**핵심 기법**: (1) Stage 1 — data synthesis: GUI trajectory에서 static planning·dynamic causal knowledge를 텍스트로 distill, (2) Stage 2 — exemplar reselection: causal structure 보상·semantic redundancy 페널티로 corpus 필터, (3) Stage 3 — mid-training: 정제 data로 GUI world knowledge embed, (4) Post-training의 implicit 흡수 한계 대체, (5) 2 GUI knowledge benchmark·3 task completion benchmark로 평가.

📊 주요 결과

2 GUI knowledge benchmark에서 에이전트의 GUI 조작 이해 일관 향상.
3 task completion benchmark에서 task 성공률 향상.
Mid-training의 explicit knowledge 내재화가 SFT·RL의 implicit 흡수보다 우수함 입증.
Code: github.com/Wuzheng02/GUI-CIDER.

💭 의의 및 한계

**의의**: GUI 에이전트 학습 패러다임에 mid-training 단계 정립, causal·planning 지식의 explicit 텍스트 distillation 방법론 제시, 평가 두 축(GUI knowledge·task completion) 모두에서 일관 향상. **한계**: Causal·planning 지식 distillation의 품질·커버리지가 source trajectory 의존, exemplar reselection metric의 hyperparameter 부담, GUI 외 domain(robot·web 외)으로 일반화 미검증.

🚀 실용적 활용

GUI 자동화·웹 에이전트.
모바일·데스크톱 task 완수 에이전트.
Mid-training 일반 패러다임의 다른 multimodal task 응용.