한 줄 요약
AutoWebGLM은 HTML 단순화 알고리즘과 강화학습을 결합한 웹 탐색 에이전트로, GPT-4를 능가하며 AutoWebBench에서 뛰어난 성능을 보인다.
핵심 기여도
- HTML 단순화 알고리즘을 설계하여 웹페이지 정보를 효과적으로 압축.
- 10,000개의 웹 탐색 트레이스를 포함한 AutoWebBench라는 이중 언어 평가 데이터셋 구축.
- 강화학습과 거부 샘플링 미세조정(RFT)을 활용한 모델 부트스트랩 방식 제안.
- 60억 파라미터 규모의 AutoWebGLM이 실제 웹 태스크에서 실용적 수준의 성능 달성.
핵심 아이디어
기존 웹 에이전트는 HTML 복잡성, 다양한 웹 행동, 개방적 도메인의 난이도로 인해 성능이 제한적이었다. AutoWebGLM은 인간의 브라우징 패턴을 모방하여 HTML을 단순화하고, 교육 과정 학습(curriculum learning)과 강화학습을 결합하여 웹 탐색 능력을 향상시킨다. 특히, RFT(Rejection Sampling Finetuning)를 도입하여 특정 도메인에서의 학습 효율을 높인다. 이는 기존 SFT나 DPO보다 더 높은 성능 향상을 유도하며, 실용적 웹 태스크 수행에 적합하다는 점에서 혁신적이다.
기술적 접근법
- **HTML 단순화 알고리즘**: HTML 텍스트를 핵심 정보만 남기고 압축하여 LLM의 이해를 용이하게 함.
- **Hybrid human-AI 데이터 생성**: 인간과 AI가 협력하여 웹 탐색 데이터를 생성, 교육 과정 학습에 활용.
- **강화학습 + RFT**: 강화학습을 통해 웹 탐색 능력을 부트스트랩하고, RFT를 통해 특정 도메인에서의 학습을 반복적으로 개선.
- **AutoWebBench**: 영어와 중국어 웹사이트를 포함한 이중 언어 평가 데이터셋으로, 10,000개의 웹 탐색 트레이스를 포함.
주요 결과
- AutoWebGLM은 AutoWebBench에서 기존 웹 에이전트 대비 뛰어난 성능을 보임.
- 60억 파라미터 규모의 모델이 실용적 수준의 웹 탐색 성능을 달성.
- 복잡한 웹 태스크 데이터셋을 사용할 경우 모델 성능이 10% 이상 향상됨 (단순 태스크 대비).
- RFT를 사용한 모델은 특정 도메인에서의 성능이 15% 이상 개선됨.
의의 및 한계
AutoWebGLM은 HTML 복잡성과 웹의 개방적 도메인 문제를 해결하는 첫 번째 LLM 기반 웹 에이전트로, 실용적 웹 탐색에 기여한다. 특히, RFT와 강화학습을 통한 부트스트랩 학습은 기존 에이전트의 오류 반복 문제를 완화시킨다. 그러나 모델은 여전히 특정 도메인에 대한 학습이 필요하며, HTML 단순화 과정에서 정보 손실이 발생할 수 있다. 또한, AutoWebBench는 영어와 중국어에만 제한되어 있어 다국어 지원이 필요하다.
실용적 활용
AutoWebGLM은 뉴스 요약, 온라인 쇼핑, 정보 검색 등 다양한 웹 기반 일상 업무 자동화에 활용 가능하다. 특히, 브라우저 확장형 웹 에이전트로 구현되어 있어 개인 및 기업의 생산성 향상에 기여할 수 있다.