Autoregressive Multimodal Anomaly Detection with Large Language Models for Microservice Systems

Microservice systems have become a dominant architecture for large-scale cloud applications, enabling rapid deployment and elastic scaling. However, ensuring the reliability and availability of microservice systems critically relies on effective anomaly detection, as failures and performance anomalies can quickly propagate across services and severely impact end-to-end system behavior. Existing multimodal anomaly detection approaches for microservice systems often struggle with two fundamental limitations: (i) the neglect of modality-specific characteristics in favor of cross-modality fusion, and (ii) the "identity-shortcut" problem that affects the feature reconstruction process. To address these issues, we propose LLMMAD, an autoregressive multimodal anomaly detection framework for microservice systems based on Large Language Models (LLMs). Initially, to reconcile cross-modality fusion with modality-specific preservation, LLMMAD embeds and recombines multimodal data into a unified sequence for LLM processing to model inter-modality relationships, while employing modality-wise reconstruction heads to retain modality-specific information. Subsequently, to eliminate the identity-shortcut, we implement a prediction-driven autoregressive objective, under which the model predicts future states rather than copies current inputs. Finally, we conduct extensive experiments on three real-world datasets. The results demonstrate that LLMMAD consistently outperforms state-of-the-art methods, achieving F1-score improvements of 3.1%, 1.4%, and 0.9%, respectively, thereby providing a more reliable solution for microservice monitoring.

한 줄 요약

LLMMAD는 대규모 언어 모델을 활용한 자동 회귀 다중 모달 이상 탐지 프레임워크로, 마이크로서비스 시스템의 신뢰도를 향상시킨다.

핵심 기여도

**LLMMAD** 프레임워크를 제안하여, 다중 모달 데이터를 통합 시퀀스로 변환하고 모달별 재구성 헤드를 사용해 모달 특성 보존.
**prediction-driven autoregressive objective**를 도입해 "identity-shortcut" 문제를 해결.
**3개의 실제 데이터셋**에서 기존 최고 성능 모델 대비 F1-score 3.1%, 1.4%, 0.9% 개선.

핵심 아이디어

기존 다중 모달 이상 탐지 방법은 모달 간 융합에 집중하면서 모달별 고유 특성을 무시하거나, 재구성 과정에서 입력을 그대로 복사하는 "identity-shortcut" 문제가 발생한다. LLMMAD는 이 두 문제를 해결하기 위해, 다중 모달 데이터를 **LLM 처리를 위한 통합 시퀀스**로 변환하고, 모달별 재구성 헤드를 통해 모달 고유 정보를 보존한다. 또한, **자체 미래 상태 예측 기반의 자동 회귀 목적 함수**를 도입하여, 입력 복사 대신 미래 예측을 강제함으로써 identity-shortcut 문제를 제거한다.

기술적 접근법

**LLMMAD**는 다중 모달 데이터를 **LLM 처리를 위한 통합 시퀀스**로 변환.
**modality-wise reconstruction heads**를 사용해 각 모달의 고유 정보를 별도로 재구성.
**prediction-driven autoregressive objective**를 통해 미래 상태 예측을 강제.
**F1-score**를 기준으로 3개의 실제 데이터셋에서 실험.

주요 결과

**3개의 실제 데이터셋**에서 기존 최고 성능 모델 대비 F1-score가 각각 **3.1%, 1.4%, 0.9% 개선**됨.
**LLMMAD**는 기존 방법들의 한계를 극복하며, 마이크로서비스 시스템 이상 탐지에서 더 높은 신뢰도를 제공.

의의 및 한계

LLMMAD는 마이크로서비스 시스템의 다중 모달 이상 탐지에서 기존 한계를 극복하고, LLM 기반의 새로운 접근법을 제시한다. 특히, 모달 간 관계와 모달별 특성을 동시에 고려하는 구조는 기존 연구에서 부족했던 점을 보완한다. 그러나, 사용된 데이터셋이 명시되지 않았으며, 모델의 확장성이나 대규모 실시간 적용 가능성에 대한 평가가 부재하다는 한계가 있다.

실용적 활용

LLMMAD는 클라우드 기반 마이크로서비스 시스템의 모니터링 및 이상 탐지에 활용될 수 있으며, 특히 로그, 메트릭, 트레이스 등 다양한 모달 데이터를 처리하는 상황에서 유용하다. 또한, 실시간 예측 기반의 이상 탐지가 필요한 산업 분야에도 적용 가능하다.