WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx

한 줄 요약

WebLINX는 대규모 대화형 웹 탐색 벤치마크로, 다양한 LLM이 웹 환경에서 대화를 통해 작업을 수행하는 능력을 평가한다.

핵심 기여도

WebLINX: 150개 이상의 실제 웹사이트에서 2,300개의 전문가 데모, 100K개의 상호작용을 포함한 대규모 대화형 웹 탐색 벤치마크.
Dense Markup Ranking(DMR): HTML 페이지에서 관련 요소를 효율적으로 추출하는 모델, 전체 DOM 트리 대신 요약된 정보를 사용.
19개 모델, 8개 아키텍처 기반 실험: Sheared-LLaMA가 GPT-4V를 포함한 제로샷 및 멀티모달 모델을 상회.
대화형 웹 탐색에서 모델의 일반화 능력 부족 문제를 제기.

핵심 아이디어

기존 웹 탐색 시스템은 플러그인 기반으로 개별 웹사이트에 의존하며, 대화 기능과 통합이 제한적이다. 본 연구는 사용자와의 다중 대화를 통해 웹 브라우저를 조작하는 **대화형 웹 탐색**(conversational web navigation) 문제를 정의하고, 이를 평가하기 위한 **WebLINX** 벤치마크를 제시한다. 이는 시각 장애인 지원, 스마트 스피커, 지식 근로자의 생산성 향상 등 다양한 실용적 상황에 적용 가능하다.

HTML 페이지는 수천 개의 요소를 포함하므로, LLM이 실시간 처리하는 데 어려움이 있다. 이를 해결하기 위해 **Dense Markup Ranking**(DMR)이라는 모듈을 설계하여, HTML 요소를 **유사도 기반 랭킹**으로 필터링하고, DOM 트리, 스크린샷, 액션 히스토리를 결합하여 모델 입력을 구성한다. 이는 텍스트 검색에서 사용되는 **컴팩트 아키텍처**를 활용한 접근법이다.

기술적 접근법

**Dense Markup Ranking (DMR)**: HTML 페이지의 요소를 액션 히스토리와 비교하여 유사도 기반으로 순위를 매겨, 불필요한 요소를 제거.
**평가 메트릭**: 액션 유형(예: 클릭, 입력, 말하기)에 따라 다른 평가 기준을 정의.
**모델 범주**: 텍스트-오직, 이미지-텍스트, 멀티모달(스크린샷 + 텍스트 + DOM 트리)로 구분.
**실험 모델**: 19개 모델, 8개 아키텍처(예: GPT-4V, Sheared-LLaMA, Fuyu) 사용.
**훈련/테스트 분할**: `Train`, `Valid`, `Test_iid`, 4개의 out-of-domain 분할 포함.

주요 결과

**Sheared-LLaMA**(텍스트-오직, 미세조정)가 GPT-4V(제로샷)를 포함한 멀티모달 모델을 상회.
**Fuyu**(스크린샷 기반 미세조정)보다 Sheared-LLaMA가 더 높은 성능.
모든 미세조정 모델이 **미확인 웹사이트**(unseen websites)에서 일반화에 실패.
**GPT-4V**는 상황 인식 부족으로 명확한 오류 발생 (예: 존재하지 않는 링크 클릭).
**모든 모델**이 언어 변경, 간단한 클릭 등 기본 작업에서도 실패.

의의 및 한계

WebLINX는 대규모 전문가 데모를 기반으로, 실제 웹 환경에서 대화형 탐색을 평가할 수 있는 첫 번째 벤치마크이다. DMR은 HTML 처리 효율성을 높이며, 다양한 모델 평가를 가능하게 한다. 그러나 모든 모델이 **새로운 웹사이트나 환경**(예: 언어, 지역)에 대한 일반화에 어려움을 겪는다. 이는 대규모 멀티모달 모델이 필요하다는 점을 시사한다. 또한, 기존 평가 메트릭이 **미세한 차이**(예: 스크린샷의 겹침)로 인해 정확도를 과소평가할 수 있다.

실용적 활용

WebLINX는 시각 장애인의 웹 접근성 향상, 스마트 스피커의 대화형 웹 탐색 기능 강화, 지식 근로자의 반복 작업 자동화 등에 활용 가능하다. 특히, 대화형 인터페이스를 통해 사용자 제어력을 유지하면서 웹 탐색을 유연하게 수행할 수 있다.