The rapid progress of large foundation models has been driven predominantly by pretraining on large-scale text corpora. However, many forms of knowledge are conveyed through visual representations, where figures, typeset equations, and page layouts carry rich information that cannot be faithfully or completely captured by text alone. Yet current pretraining approaches discard these visual cues by converting visually rich sources, such as documents and web pages, into plain text for learning language intelligence. This paper challenges the default assumption that language models must be trained on text-only representations and shows that Visual Pretraining is a scalable learner for foundation model intelligence. To this end, we conduct a systematic study of unsupervised visual pretraining paradigms that directly leverage visual documents without text extraction. Across multiple backbones and benchmarks, visual pretraining on the same underlying corpora consistently outperforms text-only pretraining, offering an efficient pathway to scalable language intelligence.
한 줄 요약
시각 정보를 활용한 언어 모델 사전 학습이 텍스트 기반 학습보다 성능을 개선한다.
핵심 기여도
- 텍스트 추출 없이 시각 문서를 직접 활용하는 언어 모델 사전 학습 패러다임 제시.
- 다양한 백본과 벤치마크에서 시각 사전 학습이 텍스트 기반 학습을 일관되게 초과함을 보임.
- 언어 지능을 위한 확장 가능한 학습 경로로 시각 사전 학습의 가능성을 입증.
핵심 아이디어
현재의 언어 모델 사전 학습은 텍스트만을 기반으로 하며, 문서 내 시각적 요소(그림, 수식, 레이아웃 등)는 무시된다. 그러나 이러한 시각 정보는 텍스트로는 충분히 전달되지 않는 중요한 지식을 포함한다. 본 연구는 텍스트 추출 없이 시각 문서를 직접 사용하는 비지도 학습 패러다임을 제안하며, 이는 언어 지능을 향한 새로운 학습 접근법으로 기능할 수 있음을 보인다. 핵심 아이디어는 언어 모델이 시각 정보를 학습 가능한 형태로 인식하고 이를 언어 이해에 통합할 수 있다는 점이다.
기술적 접근법
- 텍스트 추출 없이 시각 문서를 직접 활용하는 비지도 사전 학습 패러다임을 설계.
- 다양한 백본(예: Vision Transformer, CNN 등)과 언어 지능 벤치마크에서 실험 수행.
- 동일한 데이터셋을 기반으로 텍스트 기반 학습과 비교 실험을 진행.
주요 결과
- 다양한 백본과 벤치마크에서 시각 사전 학습이 텍스트 기반 학습을 일관되게 초과함.
- 명시된 수치는 없으나, "일관된 성능 개선"이라는 결과가 강조됨.
의의 및 한계
본 연구는 언어 모델이 텍스트에만 의존하지 않고 시각 정보를 통합함으로써 더 풍부한 지식을 학습할 수 있음을 보여준다. 이는 대규모 언어 모델의 학습 범위를 확장하고, 문서, 웹 페이지 등 시각적으로 풍부한 자료를 효과적으로 활용할 수 있는 가능성을 제시한다. 그러나 구체적인 성능 향상 폭이나 특정 데이터셋에서의 정량적 비교는 명시되지 않아 추가 연구가 필요하다.
실용적 활용
이 접근법은 학술 문서, 웹 페이지, 교육 자료 등 시각 정보가 풍부한 자료를 처리하는 언어 모델 개발에 적용 가능하다. 특히, 텍스트로 변환하기 어려운 수식이나 레이아웃 정보를 포함한 문서를 처리하는 분야에서 유용할 수 있다.