R-Judge: Benchmarking Safety Risk Awareness for LLM Agents

Large language models (LLMs) have exhibited great potential in autonomously completing tasks across real-world applications. Despite this, these LLM agents introduce unexpected safety risks when operating in interactive environments. Instead of centering on the harmlessness of LLM-generated content in most prior studies, this work addresses the imperative need for benchmarking the behavioral safety of LLM agents within diverse environments. We introduce R-Judge, a benchmark crafted to evaluate the proficiency of LLMs in judging and identifying safety risks given agent interaction records. R-Judge comprises 569 records of multi-turn agent interaction, encompassing 27 key risk scenarios among 5 application categories and 10 risk types. It is of high-quality curation with annotated safety labels and risk descriptions. Evaluation of 11 LLMs on R-Judge shows considerable room for enhancing the risk awareness of LLMs: The best-performing model, GPT-4o, achieves 74.42% while no other models significantly exceed the random. Moreover, we reveal that risk awareness in open agent scenarios is a multi-dimensional capability involving knowledge and reasoning, thus challenging for LLMs. With further experiments, we find that fine-tuning on safety judgment significantly improve model performance while straightforward prompting mechanisms fail. R-Judge is publicly available at https://github.com/Lordog/R-Judge.

한 줄 요약

R-Judge는 LLM 에이전트의 안전성 판단 능력을 평가하는 벤치마크로, GPT-4o가 74.45%의 F1 점수를 기록했으며, 미세조정이 성능 향상에 효과적임을 밝힘.

핵심 기여도

R-Judge라는 새로운 벤치마크를 제안: 569개의 다중 턴 에이전트 상호작용 기록 포함.
11개의 대표적 LLM 평가 결과: GPT-4o가 74.45%의 F1 점수를 기록, 나머지 모델은 무작위 수준 이하.
안전성 판단 능력이 지식과 추론을 포함하는 다차원적 능력임을 밝힘.
미세조정이 성능 향상에 효과적임을 실험적으로 입증.

핵심 아이디어

기존 연구는 LLM 생성 콘텐츠의 해로움 여부에 집중했으나, 본 연구는 LLM 에이전트가 상호작용 환경에서 발생할 수 있는 행동적 안전성 문제를 평가하는 새로운 접근법을 제시한다. R-Judge는 사용자 지시, 에이전트 행동, 환경 피드백의 기록을 바탕으로 LLM이 안전성 판단을 수행하도록 평가하는 벤치마크로 설계되었다. 이는 단순히 콘텐츠 생성이 아닌, 에이전트의 행동이 안전한지 판단하는 능력을 평가하는 데 초점을 맞춘다. 특히, LLM이 다중 턴 상호작용에서 위험을 인식하고 판단하는 능력이 지식과 추론을 포함하는 복합적 능력임을 밝히며, 기존 프롬프팅 기법이 실패함을 통해, 미세조정이 필요하다는 통찰을 제시한다.

기술적 접근법

**R-Judge 데이터셋**: 569개의 다중 턴 에이전트 상호작용 기록, 5개 애플리케이션 카테고리(프로그램, IoT, 소프트웨어, 웹, 금융), 27개 주요 위험 시나리오, 10개 위험 유형 포함.
**평가 프로세스**: 두 단계로 구성된 평가 레시피 사용. 첫 번째 단계는 입력 기록에 기반한 분석(`p_θ(R) → analysis`)을 생성, 두 번째 단계는 분석과 기록을 바탕으로 '안전' 또는 '위험' 라벨(`p_θ(R, analysis) → label`)을 출력.
**평가 모델**: GPT-4o, Claude 3, Llama-3 등 11개의 대표적 LLM 평가.
**실험 조건**: 미세조정 vs. 프롬프팅 기법 비교 실험 수행.

주요 결과

**GPT-4o**: R-Judge에서 74.45%의 F1 점수를 기록.
**기타 모델**: 대부분 무작위 수준 이하 성능.
**프롬프팅 실패**: 단순 프롬프팅 기법은 성능 개선에 실패.
**미세조정 효과**: 안전성 판단에 대한 미세조정은 모델 성능을 유의미하게 향상시킴.
**다차원 능력**: 위험 인식 능력은 지식과 추론을 포함하는 복합적 능력으로, LLM에 도전 과제.

의의 및 한계

R-Judge는 LLM 에이전트의 안전성 평가를 위한 첫 번째 벤치마크로, 실제 상호작용 환경에서의 위험 인식 능력을 평가하는 데 기여한다. 특히, 기존 콘텐츠 중심 평가와 달리 행동 중심 평가를 도입함으로써, 에이전트가 실제 세계에서 안전하게 작동할 수 있는지를 평가할 수 있는 기반을 제공한다. 그러나 R-Judge는 특정 애플리케이션 카테고리와 시나리오에 제한되며, 더 넓은 범위의 상호작용 환경을 반영한 데이터 확장을 필요로 한다. 또한, 미세조정 외의 다른 향상 방법론에 대한 연구는 아직 미흡하다.

실용적 활용

R-Judge는 LLM 에이전트를 사용하는 산업(예: 금융, IoT, 웹 자동화)에서 안전성 모니터링 시스템 개발에 활용될 수 있다. 또한, 연구자들이 LLM의 위험 인식 능력을 향상시키기 위한 알고리즘 및 훈련 전략을 설계하는 데 중요한 기초 자료로 사용될 수 있다.