RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation

Platform abuse campaigns conceal redirection instructions with emojis, homophones, character decomposition, and redundant symbols, then route users through disguised links to services associated with pornography, fraud, gambling, or illicit transactions. Existing benchmarks evaluate obfuscated text and risky webpages separately, obscuring how target recovery affects downstream evidence acquisition. We introduce RiskChainBench, pairing 3,600 synthetic token-text restoration inputs from 600 source sessions with 600 corresponding human-labeled local web environments. A model first restores the message, operational intent, and destination; the same underlying model then acts as a VLM-driven web agent that investigates the correctly associated website and produces a frozen, evidence-cited risk report without message-side semantics or domain-reputation cues. We score restoration and correct-routing web investigation separately and compose them offline by applying the frozen primary-entry prediction as a gate to the same Task 2 result. Human labels determine task correctness, while a fixed multimodal evidence judge assesses faithfulness, sufficiency, completeness, and consistency. Across ten models, Entry Top-1 ranges from 35.2% to 95.2% and web decision accuracy from 26.3% to 62.8%; the leading systems differ across entry recovery, full reconstruction, website decisions, and fine-grained typing. Execution failures account for 31.9% of web runs, whereas post-decision type errors account for only 0.9%, identifying stable exploration and risk judgment as the principal bottlenecks. We release the benchmark, protocol, and resettable local sandbox.

한 줄 요약

RiskChainBench는 위장된 메시지 복원과 증거 기반 웹 조사의 연계성을 평가하는 새로운 벤치마크로, 3,600개의 토큰-텍스트 입력과 600개의 로컬 웹 환경을 제공한다.

핵심 기여도

RiskChainBench는 3,600개의 합성 토큰-텍스트 복원 입력과 600개의 인간 라벨링된 로컬 웹 환경을 제공하여 메시지 복원과 웹 조사의 연계성을 평가한다.
10개 모델을 대상으로 Entry Top-1 정확도가 35.2%에서 95.2%, 웹 결정 정확도가 26.3%에서 62.8%로 평가하여 모델 간 성능 차이를 분석한다.
웹 실행 실패율은 31.9%로, 실행 안정성이 주요 병목으로 나타나며, 후속 타입 오류는 0.9%로 낮은 수준이다.
벤치마크, 프로토콜, 리셋 가능한 로컬 샌드박스를 공개한다.

핵심 아이디어

RiskChainBench는 위장된 메시지 복원과 웹 조사의 연계성을 평가하기 위해, 메시지 복원과 웹 탐색을 동일한 웹사이트 ID를 기반으로 연결한다. 기존 연구는 텍스트 복원과 웹 평가를 별도로 진행하여, 복원 오류가 후속 웹 조사에 미치는 영향을 파악하지 못했다. RiskChainBench는 모델이 먼저 메시지를 복원한 후, 동일한 VLM 기반 웹 에이전트가 해당 웹사이트를 조사하고 증거를 기반으로 위험 보고서를 생성하도록 설계되었다. 복원된 메시지의 의미나 도메인 평판 정보는 웹 조사 단계에서 제공되지 않아, 웹 탐색이 독립적이고 증거 기반으로 이루어진다.

기술적 접근법

**데이터셋 구성**: 600개의 소스 세션에서 6가지 변형을 생성하여 총 3,600개의 토큰-텍스트 복원 입력을 구성하고, 각각에 대응하는 600개의 로컬 웹 환경을 포함한다.
**평가 방식**: Task 1은 텍스트 복원, Task 2는 VLM 기반 웹 에이전트의 조사 성능을 평가하며, 복원된 메시지의 최상위 예측을 기반으로 웹 결과를 조사 성공 여부를 판단한다.
**웹 조사**: 웹 에이전트는 고정된 다중 모달 증거 판단자에 의해 faithfulness, sufficiency, completeness, consistency를 평가받으며, 웹 실행 실패율은 31.9%로 나타난다.
**하이퍼파라미터**: 각 웹사이트당 6가지 변형(Ki=6), 총 600개의 웹사이트(S=600)로 구성된다.

주요 결과

**Entry Top-1 정확도**: 10개 모델에서 35.2%에서 95.2% 범위로 나타남.
**웹 결정 정확도**: 26.3%에서 62.8% 범위로, 모델 간 차이가 큼.
**실행 실패율**: 웹 실행 실패율은 31.9%, 후속 타입 오류는 0.9%로 낮음.
**복원과 웹 조사의 연계성**: 복원 오류가 웹 조사 결과에 영향을 미치는 것을 확인할 수 있으며, 실행 안정성이 주요 병목으로 나타남.

의의 및 한계

RiskChainBench는 플랫폼 위반 메시지 복원과 웹 조사의 연계성을 체계적으로 평가하는 첫 번째 벤치마크로, 학술적·실용적으로 중요한 기초 자료를 제공한다. 특히, 복원 오류가 후속 웹 조사에 미치는 영향을 분석할 수 있어, 플랫폼 관리 시스템의 신뢰도를 높이는 데 기여할 수 있다. 그러나 현재 벤치마크는 위반 유형이 제한적이며, 언어와 지역 다각화가 필요하다는 한계가 있다. 또한, 웹 실행 실패율이 높아 실행 안정성 향상이 필수적이다.

실용적 활용

RiskChainBench는 온라인 플랫폼의 위반 메시지 탐지 및 웹 조사 시스템 개발에 활용될 수 있다. 특히, 위장된 메시지 복원과 웹 탐색의 연계성을 평가하는 데 적합하며, 보안 업체, 정부 기관, SNS 운영사 등에서 위험 탐지 알고리즘의 성능 검증에 사용할 수 있다.