DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

Massive unstructured multimodal streams suffer from high "data entropy," impeding both efficient human knowledge acquisition and high-quality AI post-training. Existing passive annotation paradigms, heavily reliant on heuristic rules or general VLMs, are costly, monotonous, and fail to unlock the deep procedural logic embedded in raw data. We elevate data processing to a learnable capability, proposing a paradigm shift towards Agentic Data Tailoring, which actively refining and structuring data to align with diverse user and downstream intents. To overcome the data scarcity bottleneck in training such high-order capabilities, we design a two-stage pipeline grounding generative semantic synthesis in deterministic Factual Anchors, yielding a large-scale dataset spanning five core physical and digital domains. Building upon this, DataClaw_0-9B model synergizes Supervised Fine-Tuning (SFT) with Group Relative Policy Optimization (GRPO), achieving robust alignment with complex refinement and tailoring intents. To systematically quantify this capability, we construct DataClaw_0-val, the first benchmark dedicated to data refinement. Crucially, we adopt downstream post-training as the ultimate validation touchstone. Evaluations on video generation, real-world VQA, and GUI navigation confirm that DataClaw_0 delivers high-information-density tailored data, facilitating efficient model adaptation to new tasks under limited training data regimes. Project page: https://czjdsg.github.io/MakeAnyData

한 줄 요약

DataClaw₀-9B는 높은 정보 밀도의 맞춤형 멀티모달 데이터를 생성하여 제한된 학습 데이터에서도 모델 성능을 향상시킨다.

핵심 기여도

Agentic Data Tailoring이라는 새로운 패러다임 제안, Factual Anchors 기반 2단계 파이프라인으로 대규모 멀티도메인 데이터셋 구축.
DataClaw₀-9B 모델은 SFT와 GRPO를 결합하여 복잡한 정제 의도와 정렬.
DataClaw₀-val이라는 첫 번째 데이터 정제 전용 벤치마크 제시.
비디오 생성, VQA, GUI 탐색에서 기존 VLM 대비 높은 성능과 낮은 계산 비용 달성.

핵심 아이디어

기존의 헤uristic 기반 또는 일반 VLM을 사용하는 수동적 데이터 정제는 높은 데이터 엔트로피와 약한 구조로 인해 한계가 있었다. 본 연구는 Agentic Data Tailoring이라는 새로운 개념을 제시하며, 사용자 의도에 맞춰 랜덤한 멀티모달 스트림을 **자동적으로 정제하고 구조화**하는 능력을 학습 가능한 형태로 정의한다. 이는 단순히 데이터를 정리하는 것이 아니라, **의도 조건에 따른 엔트로피 감소**를 목표로 한다. 핵심 아이디어는 다음과 같다:

1. **Factual Anchors**를 사용한 하향식 추출과 상향식 합성:

첫 번째 단계에서 가벼운 도메인 전문가, 메타데이터 파서, 헤uristic 규칙을 활용해 **객체 상태, 시간 경계, OCR 텍스트, GUI 상호작용 이벤트** 등의 확정적 사실을 추출.
두 번째 단계에서 강력한 VLM이 이 이산적 앵커를 기반으로 **멀티모달 chain-of-thought 방식의 논리적 연결**을 수행.

2. **GRPO 기반의 정제 품질 최적화**:

SFT를 넘어, **Group Relative Policy Optimization (GRPO)**를 도입하여 정제 품질과 의도 준수를 직접 최적화.
**다차원 보상 신호**(의도 만족도, 정보 밀도, 사실 일관성, 구조 정확도)를 사용해 정제 과정을 정량적으로 평가.

이러한 접근은 기존의 수동적 데이터 정제와는 차별화되며, 높은 엔트로피를 가진 데이터에서 **고밀도, 검증 가능한 지식**을 추출하는 데 기여한다.

기술적 접근법

**DataClaw₀-9B 모델**: Qwen3.5-9b 기반으로, SFT와 GRPO를 결합한 학습 프레임워크.
**GRPO**: 정제 품질을 최적화하기 위해 다차원 보상 신호를 사용.
**Factual Anchors**: 객체 상태, 시간 경계, OCR 텍스트, GUI 이벤트 등 확정적 정보를 추출.
**DataClaw₀-9B-Val**: 첫 번째 데이터 정제 전용 벤치마크.
**두 가지 아키텍처**:
**DataClaw₀-O**: 모든 도메인에서 학습된 Omni 모델.
**DataClaw₀-E**: 도메인별 전문 정제 에이전트로 구성된 Expert 시스템.
**하이퍼파라미터**: GRPO에서 **R_anchor** 보상 신호를 포함하면 Sequence 정확도 71.96 달성.

주요 결과

**DataClaw₀-Val**에서 기존 VLM 대비 높은 정제 품질.
**비디오 생성, 실세계 VQA, GUI 탐색**에서 DataClaw₀-9B가 기존 모델 대비 높은 성능.
**DataClaw₀-9B가 생성한 데이터**로 학습한 모델은 **전체 스케일 데이터셋 대비 90% 이상의 성능**을 유지하면서 **계산 비용을 60% 이상 절감**.
**GUI 도메인에서 GUI 전용 에이전트**가 Embodied 에이전트 대비 Field 점수 100.00, Semantic 점수 84.93, Sequence 점수 76.41 달성.

의의 및 한계

DataClaw₀는 멀티모달 데이터 엔지니어링 분야에서 **학습 가능한 데이터 정제 능력**을 정의하고, 이를 구현하는 첫 번째 시도로 의의가 있다. 특히, **Factual Anchors 기반 2단계 파이프라인**은 높은 엔트로피 데이터를 구조화하는 데 효과적이며, GRPO를 통한 정제 품질 최적화는 기존의 수동적 방법을 대체할 수 있는 가능성을 제시한다.

그러나, **도메인 전용 에이전트가 다른 도메인에서 성능 저하**를 보이는 점은 한계로 작용한다. 예를 들어, Embodied 에이전트가 GUI 도메인에서 Field 점수 0.00, Sequence 점수 50.00에 불과한 반면, GUI 전용 에이전트는 Field 점수 100.00, Sequence 점수 76.41을 달성. 이는 **도메인 간 일반화 능력**이 아직 부족함을 시사한다.

실용적 활용

DataClaw₀는 **교육, 실세계 VQA, GUI 자동화, 비디오 생성** 등 다양한 멀티모달 도메인에서 활용 가능하다. 특히, **데이터가 제한된 상황**에서 높은 정보 밀도의 맞춤형 데이터를 생성하여 모델 학습 효율성을 높일 수 있다. 또한, **비용 효율적인 데이터 정제**를 통해 기업 및 연구소에서 대규모 데이터셋 없이