Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities

We present Youtu-Parsing-Omni, an omni-modal parser that converts documents, images, audio, and video into structured records grounded in space and time, providing a perception layer for agents that read, locate, and cite evidence across modalities. Its design rests on one encoder for every modality and one schema for every task. Youtu-Omni-Encoder, initialized from a pre-trained language model to strengthen text reading, encodes all modalities with shared weights in a unified space-time coordinate system, and a few fusion layers let video frames attend to concurrent audio, bringing cross-modal fusion and temporal alignment into perception itself. OmniSchema unifies the outputs of all ten parsing tasks, allowing a single self-evolving post-training procedure, OmniSchema-Aware On-Policy Distillation (OSAD), to provide a shared token-role-based objective across tasks. In each round, the model is trained on its own rollouts against token-level targets from a reference-conditioned copy of itself, which is then refreshed with the trained weights, so that the parser and its supervision co-evolve. With a single 5 B-parameter checkpoint, Youtu-Parsing-Omni achieves state-of-the-art performance on OmniDocBench v1.6 (96.96 Overall) and leads all open-weight models on OmniParsingBench (75.08 Avg.), with its advantage concentrated on audio and video. It also achieves the best overall chart-parsing score (95.02) and the highest exact chemical-fingerprint agreement among compared systems, and matches a dedicated optical-music model in character-level transcription of typeset sheet music while staying far ahead of general-purpose systems. Code and model weights are publicly available.

한 줄 요약

Youtu-Parsing-Omni는 하나의 인코더와 스키마로 다중 모달리티를 통합 파싱하는 시스템으로, 단일 5B 파라미터 모델로 OmniDocBench v1.6에서 96.96 점을 달성한다.

핵심 기여도

**Youtu-Omni-Encoder**: 텍스트 기반 사전 학습 모델로 초기화된 공유 가중치 인코더로, 모든 모달리티를 통합된 시공간 좌표계에서 인코딩.
**OmniSchema**: 10개 파싱 작업의 출력을 통일한 스키마로, OSAD라는 자기 진화형 후-학습 절차를 가능하게 함.
**OSAD (OmniSchema-Aware On-Policy Distillation)**: 모델 자체의 rollout을 기반으로 토큰 레벨 타겟을 생성하여, 파서와 감독이 함께 진화.
**단일 5B 파라미터 체크포인트**: OmniDocBench v1.6에서 96.96, OmniParsingBench에서 75.08 평균 점수 달성.

핵심 아이디어

Youtu-Parsing-Omni는 기존의 모달리티별 별도 인코더와 스키마를 사용하는 방식의 한계를 극복하기 위해, **하나의 인코더**와 **하나의 스키마**로 모든 모달리티를 처리하는 새로운 접근법을 제시한다. 기존 연구에서는 시각 및 청각 인코더가 독립적으로 학습되어, 교차 모달 융합과 시간 정렬이 언어 모델에 의존적이었으나, Youtu-Omni-Encoder는 공유된 가중치와 시공간 위치 인코딩을 통해 **프레임과 음성을 동시에 융합 및 정렬**한다. 이는 파서가 구조화된 출력에서 모달 간 동시성과 시간적 관계를 명시적으로 표현할 수 있도록 한다.

또한, 기존의 학습 방식은 작업별로 다른 목표와 보상 함수를 사용하여 통일된 최적화가 어려웠으나, **OmniSchema**를 통해 모든 작업의 출력이 동일한 토큰-역할 기반 스키마를 따르게 되고, **OSAD**를 통해 모델이 자체적으로 생성한 파싱 결과를 기반으로 토큰 레벨 학습이 이루어진다. 이는 학습 과정에서 감독 정보가 모델과 함께 진화함을 의미하며, 기존의 수동적 보상 함수나 별도의 선생 모델 없이도 가능하다.

기술적 접근법

**Youtu-Omni-Encoder**: 텍스트 기반 사전 학습 모델에서 초기화된 공유 가중치 인코더.
**공유 시공간 위치 인코딩**: 모든 모달리티가 동일한 2D/3D 좌표계에서 인코딩됨.
**가벼운 입력 스템 및 출력 프로젝터**: 모달리티별 특화된 부분은 최소화.
**OSAD (On-Policy Distillation)**: 참조 조건을 가진 동일 모델의 복사본으로부터 토큰 레벨 타겟 생성.
**단일 5B 파라미터 체크포인트**: 10개 파싱 작업에 모두 적용.
**Decoder**: Youtu-LLM-2B 기반, 1D 회전 위치 인코딩 사용 (공간/시간 구조는 인코더에서 처리됨).

주요 결과

**OmniDocBench v1.6**: 96.96 점 (SOTA).
**OmniParsingBench**: 75.08 평균 점수 (오픈 모델 중 최고).
**차트 파싱**: 95.02 점 (최고 성능).
**화학 지문 일치율**: 비교 모델 중 최고 정확도.
**음악 악보 인식**: 전용 모델과 동일 수준의 문자 수준 전사 성능.

의의 및 한계

Youtu-Parsing-Omni는 **단일 인코더-스키마 구조**로 다중 모달리티 파싱을 통합하여, 기존의 복잡한 파서 체계를 단순화하고, **모델과 감독이 함께 진화하는 학습 프레임워크**를 제시하는 데 기여한다. 특히, **공유된 인코딩 공간**과 **토큰-역할 기반 스키마**는 파서의 일반화 능력과 정확도를 동시에 향상시킨다.

하지만, **모델 크기(5B)**는 여전히 대규모 컴퓨팅 자원을 요구하며, **특정 도메인(예: 음악, 화학)**에서는 전용 모델과의 격차는 완전히 해소되지 않았다. 또한, **OSAD의 진화적 학습 과정**은 초기 학습 속도에 영향을 줄 수 있으며, 이는 대규모 데이터셋에서의 안정성 검증이 필요하다.

실용적 활용

Youtu-Parsing-Omni는 **다중 모달리티를 처리하는 AI 에이전트**에 적합하며, 문서, 영상, 음성, 음악 등 다양한 입력을 구조화된 텍스트로 변환하여 추론 및 증거 기반 답변에 활용할 수 있다. 특히, **교육, 의료, 법적 분석** 등 정확한 위치 및 시간 기반 정보 추출이 필요한 분야에서 유용할 것으로 기대된다.