개요

그래프 구조 데이터에서 반지도 학습(semi-supervised learning)을 위한 접근법으로, 그래프에서 직접 작동하는 합성곱 신경망의 효율적인 변형이다. 2017년 Thomas Kipf와 Max Welling에 의해 처음 소개되었다.

핵심 요소

1. CNN의 확장

1. CNN : 격자 구조(이미지)에서 픽셀 간의 정보 집계
2. GCN : 불규칙한 그래프 구조에서 노드 간의 정보 집계

2. 메시지 패싱(Message Passing)

메시지 패싱은 그래프에서 각 노드가 이웃 노드들로부터 정보를 수집하고 집계하여 자신의 표현을 업데이트하는 과정이다.

3단계 과정

1. Gather : 이웃 노드들의 임베딩 수집
2. Aggregate : 수집된 메시지들을 집계 함수(sum, mean, max 등)로 통합
3. Update : 집계된 정보를 학습된 신경망으로 처리하여 노드 표현 업데이트

수학적 표현

H = σ(D̃^(-1/2) Ã D̃^(-1/2) X Θ)

Ã: 자기 루프가 추가된 인접 행렬
D̃: 자기 루프가 추가된 차수 행렬
X: 노드 특성 행렬
Θ: 학습 가능한 가중치 행렬
σ: 활성화 함수

주요 특징

1. 지역성

스펙트럴 그래프 합성곱의 지역화된 1차 근사를 통해 합성곱 아키택쳐가 설계되어, 각 노드는 직접 연결된 이웃들로부터만 정보를 받습니다.

2. 효율성

모델이 그래프 엣지 수에 선형으로 확장되며, 지역 그래프 구조와 노드 특성을 모두 인코딩하는 은닉층 표현을 학습합니다.

3. 순열 불변성

노드의 순서에 상관 없이 동일한 결과를 생성합니다.

활용 분야

1. 노드 분류

• 소셜 네트워크에서 사용자 분류
• 논문 인용 네트워크에서 논문 주제 분류

2. 그래프 분류

• 분자 특성 예측
• 소셜 네트워크 분석

3. 링크 예측

• 추천 시스템
• 지식 그래프 완성

장단점

장점

• 매우 적은 파라미터로도 높은 성능 달성 가능
• 그래프의 구조적 정보를 효과적으로 활용
• 다양한 그래프 태스크에 적용 가능

단점

• 실제로는 주로 2층만 사용되며, 더 많은 그래프 합성곱 층을 사용하면 오히려 성능이 저하될 수 있음
• 너무 많은 층을 추가하면 관도한 집계로 인해 모든 임베딩이 비슷해지는 over-smoothing 현상이 발생
• 대부분의 기존 그래프 합성곱 네트워크는 입력 그래프가 정적이라고 명시적으로 가정

레퍼런스

https://github.com/meimeiliu/GATE