Towards Robust Federated Multimodal Graph Learning under Modality Heterogeneity

Recently, multimodal graph learning (MGL) has garnered significant attention for integrating diverse modality information and structured context to support various network applications. However, real-world graphs are often isolated due to data-sharing limitations across multiple parties, and their modalities are frequently incomplete. This highlights an urgent need to develop a robust federated approach. However, we find that existing methods remain insufficient. On the one hand, centralized MGL methods that handle missing modalities overlook the knowledge sharing and generalization in federated scenarios. On the other hand, while federated MGL methods have become increasingly mature, they primarily target non-graph data. Based on these technologies, we identify a two-stage pipeline wherein client-side completion reconstructs missing modalities, and server-side aggregation integrates the client-updated parameters of both the modality generator and the backbone models. Although this serves as a general solution, we identify two primary challenges in achieving greater robustness: (1) Topology-Isolated Local Completion: Client-side modality generation struggles to effectively leverage global semantics. (2) Reliability-Imbalanced Global Aggregation: Server-side multi-party collaboration is hindered by client updates with varying modality availability and recovery reliability. To address these challenges, we propose \textsc{FedMPO}, which utilizes topology-aware cross-modal generation to recover missing features using comprehensive graph context, missing-aware expert routing to locally filter out noisy recovered signals, and reliability-aware aggregation to appropriately down-weight unreliable updates. Extensive experiments on 3 tasks across 6 datasets demonstrate that FedMPO outperforms baselines, achieving performance gains of up to 4.10% and 5.65% in high-missing and non-IID settings.

📋 한 줄 요약

**[연합 학습 / 멀티모달 그래프]** 모달리티 결손과 데이터 공유 제약이 공존하는 실세계 멀티모달 그래프 시나리오를 위한 강건한 연합 학습 프레임워크 FedMPO를 제안.

🎯 핵심 기여도

기존 중앙집중식 MGL 방법은 연합 시나리오의 지식 공유·일반화를 무시하고, 기존 연합 MGL 방법은 주로 비-그래프 데이터를 타깃으로 한다는 양쪽 한계를 명확히 정의.
클라이언트측 모달리티 보완과 서버측 파라미터 집계로 이루어지는 2단계 파이프라인을 일반 솔루션으로 정립.
(1) Topology-Isolated Local Completion 문제와 (2) Reliability-Imbalanced Global Aggregation 문제라는 두 핵심 난제를 식별하고 각각 대응하는 컴포넌트 설계.
3개 태스크·6개 데이터셋에서 high-missing·non-IID 환경에서 최대 4.10%, 5.65%의 성능 이득 입증.

💡 핵심 아이디어

연합 멀티모달 그래프에서 강건성의 두 축은 (a) 결손 모달리티를 복원할 때 전역 그래프 의미를 활용하는 것과 (b) 클라이언트마다 다른 결손·복원 신뢰도를 집계 단계에서 차등 가중하는 것이다.

🔬 기술적 접근법

**모델/방법론**: 클라이언트측 모달리티 생성기 + 백본 모델을 연합 학습하는 2단계 파이프라인 위에 세 가지 보강을 추가한 FedMPO.
**핵심 기법**: (1) topology-aware cross-modal generation으로 그래프 컨텍스트를 활용한 결손 특징 복원, (2) missing-aware expert routing으로 노이즈가 많은 복원 신호를 국소 필터링, (3) reliability-aware aggregation으로 신뢰도가 낮은 클라이언트 업데이트를 다운웨이트.

📊 주요 결과

3개 태스크 × 6개 데이터셋에서 베이스라인을 일관되게 능가.
high-missing 환경에서 최대 4.10% 성능 이득.
non-IID 환경에서 최대 5.65% 성능 이득.

💭 의의 및 한계

**의의**: 모달리티 결손과 데이터 격리가 함께 발생하는 실세계 멀티 파티 그래프 환경(의료·금융·소셜)에 적용 가능한 강건한 연합 학습 청사진을 제공. **한계**: 3 태스크·6 데이터셋이라는 평가 범위로, 매우 큰 그래프나 다양한 모달리티 조합(예: 비디오·시계열)에서의 확장성은 추가 검증 필요.

🚀 실용적 활용

병원 간 환자 그래프(이미지·기록·시계열) 통합 학습.
기업 간 거래·관계 그래프의 사기 탐지(데이터 공유 제약 하).
모달리티가 불완전한 IoT 센서 네트워크의 협력 추론.