PACE: Towards Surfacing Hidden Conflicts in User Requests

Personalized assistants should not only comply with user requests but also assess whether those requests are appropriate given the user's current circumstances. However, prior work has primarily focused on accurately executing requests, overlooking the need for assistants to account for context and engage in conflict-based refusal. Furthermore, while existing work on conflict or safety detection relies on explicitly provided factors, real-world scenarios often involve implicit factors that must be retrieved from a knowledge base (KB). To this end, we introduce Personalized Assistants for Conflict Evaluation (PACE), a dataset for evaluating whether models can identify latent constraints, expressed as egocentric knowledge or events, that render seemingly reasonable user requests inappropriate. PACE pairs user requests grounded in well-defined personas with egocentric KB facts, requiring models to integrate contextual evidence to determine whether a request is conflicting. This implicit retrieval setting hinders the direct association between user requests and conflict-inducing knowledge, making it difficult for existing models to identify relevant user-specific facts. To address this challenge, we further propose PaceMaker, a multi-agent framework in which specialized agents coordinate across query reformulation, multi-hop graph traversal, and conflict-aware filtering to retrieve contextually decisive evidence. Experiments on PACE evaluate both evidence retrieval quality and conflict decision accuracy, showing that PaceMaker consistently outperforms existing approaches.

한 줄 요약

PACE 데이터셋과 PaceMaker 다중 에이전트 프레임워크를 제안하여 사용자 요청의 은밀한 충돌을 식별하는 성능을 향상시킨다.

핵심 기여도

PACE: 개인 중심 지식베이스에서 충돌 판단을 평가하는 새로운 데이터셋 제안.
PaceMaker: 쿼리 재구성, 다중 홉 그래프 탐색, 충돌 인식 필터링을 통합한 다중 에이전트 프레임워크 제안.
Open-source 설정에서 68.82% Pass Rate 달성, 기존 검색 기반 베이스라인 대비 6.43% 개선.
Oracle 기준 대비 31.18%의 성능 격차가 남아 있어 충돌 인식의 어려움을 입증.

핵심 아이디어

기존 연구는 사용자 요청의 명시적 위험만 처리하는 데 초점을 맞췄지만, 실제 상황에서는 은밀한 개인적 제약(예: 이전 약속, 알레르기)이 충돌을 유발할 수 있다. 이에 따라, PACE는 사용자 요청과 개인 지식베이스(PB) 간의 은밀한 충돌을 평가하는 데이터셋으로, 요청이 표면적으로는 정상적이지만 PB 내의 분산된 사실과 충돌할 경우 거부해야 한다는 문제를 제시한다. PaceMaker는 이 문제를 해결하기 위해 쿼리 재구성(Query Reformulation), 다중 홉 그래프 탐색(Multi-hop Graph Traversal), 충돌 인식 필터링(Conflict-aware Filtering) 세 단계를 수행하는 다중 에이전트 시스템으로, 기존 검색 기반 접근법보다 정확한 증거를 추출한다.

기술적 접근법

**PACE 데이터셋**: 사용자 프로필 기반 요청과 개인 중심 KB 사실을 짝지어 충돌 여부를 판단하도록 설계.
**PaceMaker 프레임워크**:
**Query Reformulation Agent**: 충돌 신호를 타겟팅한 쿼리를 생성.
**Graph Traversal Agent**: KB 내 다중 홉으로 연결된 관련 사실 탐색.
**Conflict-aware Filtering Agent**: 불필요한 정보를 제거하고 결정적 증거만 추출.
**평가 지표**: Recall@K, Hit@K, Gold@K, MRR, Pass Rate (GPT-5.4-mini 기반 자동 평가).
**실험 설정**: Open-source 및 Closed-source 두 가지 설정에서 비교 실험 수행.

주요 결과

**Open-source 설정**:
Sparse Retrieval: 62.73% Pass Rate
Dense Retrieval: 62.39% Pass Rate
**PaceMaker**: 68.82% Pass Rate (기존 방법 대비 +6.43%)
**Oracle 기준**: 100% Pass Rate, Full KB 접근 시 57.49% (Open-source), 73% (Closed-source)
**결론**: PaceMaker는 다중 홉 탐색과 충돌 인식 필터링을 통해 더 정확한 충돌 판단을 가능하게 함.

의의 및 한계

PACE와 PaceMaker는 개인화된 어시스턴트가 은밀한 상황적 제약을 고려한 요청 거부를 수행하는 능력을 평가하고 향상시키는 데 기여한다. 특히, 기존 방법이 단일 쿼리 기반 위험 탐지에 집중한 반면, PACE는 복잡한 KB 내 분산된 사실을 통합하는 능력을 평가하는 데 초점을 맞춘다. 그러나 Oracle 대비 31.18%의 성능 격차는 충돌 인식이 여전히 어려운 문제임을 보여준다. 또한, KB의 규모가 커질수록 필터링의 정확도가 낮아질 수 있는 한계가 있다.

실용적 활용

PACE와 PaceMaker는 개인화된 AI 어시스턴트(예: 가상 개인 비서, 스마트 홈 시스템)에서 사용자의 은밀한 제약(예: 알레르기, 일정 충돌)을 고려한 요청 처리를 가능하게 하며, 의료, 금융 등 민감한 결정을 내려야 하는 분야에서도 적용 가능하다.