Unifying Graph Neural Networks Through a Common Layer Equation
Sai Karthik Navuluru, Siddhartha Shankar Das, Bo Ni, Hongjie Chen, Yu Wang, Baris Coskunuzer, Nesreen K. Ahmed, Franck Dernoncourt, Mahantesh Halappanavar, Tyler Derr, Ryan A. Rossi, Lakshman Tamil
arXiv:2608.16097 · 2026-08-20 공개 · arXiv · PDF
graph-neural-networks message-passing oversmoothing layer-equation propagation-bank channel-fusion architecture-unification component-decomposition
Abstract
Graph neural networks are commonly described through family-specific equations whose notation obscures shared computations and structural differences. We introduce a common layer equation that represents covered architectures through seven components: an update domain, channel set, propagation bank, per-channel message maps, channel-fusion operator, ego/residual map, and update map. The central factorization separates where information moves, encoded by the propagation bank, from what moves, encoded by the message maps. Function-valued fillings extend the same equation across local message passing, attention, spectral filtering, global communication, relation-specific channels, higher-order domains, and geometric messages.
We make this unification explicit and checkable through worked reductions of canonical layers and component assignments spanning seven nonexclusive architectural families. A fixed slot discipline assigns operations by computational role and defines the framework's coverage boundary. The decomposition also yields component-level theoretical insights: under endpoint-local messages and node-local updates, operator support bounds one-layer dependencies, and one-layer global mixing requires a full effective operator row under the stated hypotheses.
The resulting framework organizes more than 200 architectures in a common design space, enables component-wise comparison and generation of structurally consistent architectures, and connects propagation choices to oversmoothing, oversquashing, heterophily, and expressivity. It further exposes the empirical inverse problem of mapping measurable graph and task properties to validated component choices.
한국어 요약
한 줄 요약
그래프 신경망을 일관된 계층 방정식으로 통합하여 200개 이상의 아키텍처를 공통 설계 공간에 정리한다.
핵심 기여도
- 7개 구성 요소로 표현된 공통 계층 방정식을 제안 (업데이트 도메인, 채널 집합, 프로파게이션 뱅크 등 포함).
- 7개의 비배타적 아키텍처 패밀리에 걸쳐 캐노니컬 레이어를 구체화한 사례를 제시.
- 프로파게이션 뱅크와 메시지 맵의 분리를 통해 정보 이동 경로와 내용을 명확히 구분.
- 200개 이상의 그래프 신경망 아키텍처를 공통 설계 공간에 정리하여 비교 및 생성 가능하게 함.
핵심 아이디어
기존 그래프 신경망은 패밀리별로 다른 수식 표현을 사용하여 공통점과 차이점을 명확히 파악하기 어려웠다. 본 연구는 이를 해결하기 위해 7개의 구성 요소로 이루어진 공통 계층 방정식을 도입한다. 이 방정식은 정보가 어디로 이동하는지 (프로파게이션 뱅크)와 무엇이 이동하는지 (메시지 맵)를 분리하여 표현한다. 이는 다양한 아키텍처 패밀리(예: 로컬 메시지 패싱, 어텐션, 스펙트럼 필터링 등)를 동일한 수식 구조로 통합할 수 있게 한다.
또한, 이 분해는 이론적 통찰을 제공한다. 예를 들어, 엣포인트-로컬 메시지와 노드-로컬 업데이트 하에서, 오퍼레이터의 지원 범위가 단일 레이어의 의존성을 제한하며, 전체 효과적 오퍼레이터 행이 필요하다는 점이 밝혀졌다.
기술적 접근법
- **공통 계층 방정식**: 7개 구성 요소로 이루어짐 (업데이트 도메인, 채널 집합, 프로파게이션 뱅크, 메시지 맵, 퓨전 오퍼레이터, 에고/잔여 맵, 업데이트 맵).
- **프로파게이션 뱅크**: 정보 이동 경로를 인코딩.
- **메시지 맵**: 이동하는 정보의 내용을 인코딩.
- **채널-퓨전 오퍼레이터**: 여러 채널의 정보를 통합.
- **고정 슬롯 규칙**: 계산 역할에 따라 연산을 할당하여 프레임워크의 범위를 정의.
- **7개 아키텍처 패밀리**: 로컬 메시지 패싱, 어텐션, 스펙트럼 필터링, 글로벌 커뮤니케이션, 관계별 채널, 고차 도메인, 기하학적 메시지 포함.
주요 결과
- 200개 이상의 그래프 신경망 아키텍처를 공통 설계 공간에 정리.
- 구성 요소별 비교와 구조적으로 일관된 아키텍처 생성 가능.
- 프로파게이션 선택이 오버스무딩, 오버스쿼싱, 이질성, 표현력과 연결됨을 밝힘.
- 측정 가능한 그래프 및 작업 속성을 기반으로 구성 요소 선택을 매핑하는 실증적 역 문제를 드러냄.
의의 및 한계
본 연구는 다양한 그래프 신경망 아키텍처를 일관된 수식 구조로 통합함으로써, 비교, 분석, 생성을 용이하게 한다. 이는 이론적 통찰을 제공하고, 실용적으로는 설계 공간 탐색을 효율화할 수 있다. 그러나 모든 아키텍처를 포괄하는 것은 아니며, 일부 복잡한 구조는 프레임워크의 범위를 벗어날 수 있다. 또한, 구성 요소 선택의 실증적 매핑은 아직 완전히 해결되지 않았다.
실용적 활용
본 프레임워크는 그래프 기반의 다양한 분야(예: 사회 네트워크 분석, 화학 분자 모델링, 추천 시스템)에서 신경망 아키텍처 설계를 시스템화하고 비교 분석을 용이하게 할 수 있다. 연구자들이 새로운 아키텍처를 설계하거나 기존 모델을 비교할 때 활용 가능하다.