TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming

E-commerce live streaming requires omni-modal understanding of noisy, temporally extended streams, where product facts are distributed across speech, video frames, product images, overlaid text, and user queries. We present TLive-Omni, an omni-modal understanding model tailored to live-commerce scenarios. It maps image, video, audio, and text inputs into a unified representation space. For long-form live streaming analysis, we introduce Per-vGrid, a timestamped token organization that groups each video grid with its temporally corresponding audio within explicit boundary tokens to facilitate temporal alignment. We design a three-stage supervised training recipe that progressively develops live-commerce understanding, from omni-modal perception to instruction-following responses. We then propose Faithful-RFT, a reinforcement fine-tuning stage that further improves answer faithfulness and expression quality while meeting real-time demands, scoring final responses directly with task-verifiable feedback rather than optimizing for reasoning-style exploration during rollout. Moreover, TLive-Omni is supported by a scenario-oriented atomic capability taxonomy and a compact data production engine that converts live-commerce audio, image, and video streams into training signals for speech recognition, speaker analysis, product visual grounding, text recognition, temporal grounding, video dense caption, and omni-modal QA, etc. For scalable training, a synchronized length-grouped sampler reduces padding while preserving comparable workloads across workers, while a lightweight dynamic sampling strategy regenerates rollout groups with near-zero reward variance to maintain meaningful relative advantages for GRPO. Experiments on e-commerce live streaming benchmarks demonstrate strong performance across live-commerce domain tasks, together with excellent generalization on general benchmarks.

한 줄 요약

TLive-Omni는 전자상거래 라이브 스트리밍에서 오디오, 비디오, 텍스트, 이미지를 통합한 다중모달 이해를 위한 모델로, Per-vGrid와 Faithful-RFT를 통해 실시간 성능과 정확도를 동시에 달성한다.

핵심 기여도

**Per-vGrid** 모듈을 도입하여 비디오 그리드와 대응하는 오디오를 타임스탬프 기반으로 정렬, 시간적 정렬 문제를 해결.
**Faithful-RFT** 단계를 통해 실시간 답변 생성 시 추론 과정 최소화하고, 최종 답변에 직접적으로 작업 가능한 피드백을 적용.
**Scenario-oriented atomic capability taxonomy**를 기반으로 라이브 스트리밍 데이터를 구조화하여 스피치 인식, 제품 시각 정착, 템포럴 정착 등 7개 이상의 원자적 능력 학습.
**Synchronized length-grouped sampler**를 통해 패딩 최소화 및 GRPO 최적화를 위한 동적 샘플링 전략 제안.

핵심 아이디어

TLive-Omni는 전자상거래 라이브 스트리밍의 복잡한 다중모달 입력(음성, 비디오, 텍스트, 이미지)을 통합 처리하기 위해, 시간적 일관성을 유지하면서도 실시간 성능을 요구하는 문제를 해결하는 새로운 접근법을 제시한다. 기존 모델들이 단일 모달 또는 일반적인 다중모달 이해에 집중했다면, TLive-Omni는 라이브 스트리밍의 고유한 특성, 즉 시간에 분산된 제품 정보와 사용자 질의를 고려하여 **Per-vGrid**라는 타임스탬프 기반의 토큰 정렬 방식을 도입한다. 이는 비디오 그리드와 대응하는 오디오를 명시적인 경계 토큰 내에 그룹화함으로써, 시간적 정렬을 명확히 유지한다. 또한, **Faithful-RFT** 단계는 추론 과정을 최소화하고, 최종 답변에 직접적으로 작업 가능한 피드백을 적용함으로써, 실시간 답변 생성 시 정확도와 표현력을 동시에 향상시킨다.

기술적 접근법

**모델 아키텍처**: Qwen3.5 기반으로, Qwen3-Omni의 사전 학습된 오디오 인코더를 통합.
**Per-vGrid**: 각 비디오 그리드와 대응하는 오디오를 타임스탬프 기반으로 그룹화, 명시적 경계 토큰 내에 배치.
**Faithful-RFT**: 최종 답변에 작업 가능한 피드백을 직접 적용, 추론 과정 최소화.
**Synchronized length-grouped sampler**: 패딩 최소화, GRPO 최적화를 위한 동적 샘플링 전략.
**Training recipe**: 3단계 감독 학습 → Faithful-RFT → GRPO 최적화.
**입력 컨텍스트 길이**: 최대 256K 토큰 지원.

주요 결과

**Live-commerce task performance**: 제품 시각 정착, 템포럴 정착, 다중모달 QA 등에서 뛰어난 성능.
**General benchmark performance**: Qwen3.5 4B 및 9B 기반 모델 대비 여러 벤치마크에서 개선.
**Faithful-RFT 효과**: 답변의 정확도와 표현력 향상, 실시간 처리 능력 유지.
**Per-vGrid 효과**: 시간적 정렬 정확도 향상, 오디오-비디오 일치율 개선.

의의 및 한계

TLive-Omni는 전자상거래 라이브 스트리밍에서의 다중모달 이해를 위한 체계적인 모델 설계와 데이터 생성 전략을 제시하며, 라이브 스트리밍의 고유한 시간적 특성과 실시간 처리 요구를 반영한 학습 전략을 도입한 점에서 학술적·실용적 의의가 있다. 특히, **Per-vGrid**와 **Faithful-RFT**는 기존 모델에서 다루지 않았던 시간적 정렬 및 실시간 답변 생성 문제를 해결하는 기술적 기여로 평가된다. 그러나 모델은 이해 중심이며, 생성 또는 양방향 실시간 대화는 지원하지 않으며, 더 길고 잡음이 많은 라이브 스트리밍 환경에서의 안정성 향상이 필요하다는 한계가 있다.

실용적 활용

TLive-Omni는 전자상거래 플랫폼에서 실시간 라이브 스트리밍 분석, 제품 설명 생성, 사용자 질의 응답 등에 활용 가능하다. 또한, **Per-vGrid**와 **Faithful-RFT**는 다른 실시간 다중모달 처리 시스템(예: 스트리밍 콘텐츠 자동 요약, 실시간 번역)에도 적용 가능하다.