Paper Reading

Posted on Edited on In

1. Differentiable Graph Module(DGM)for Graph Convolutional Networks_PAMI-2022

这篇文章基于每一层的输出特征来学习 graph，并在训练过程中优化网络参数。 所提出的架构包括 Differentiable Graph Module(DGM) 和 Diffusion Module 两个模块。

latent graph:

In many problems, the data can be assumed to have some underlying graph structure, however, the graph itself might not be explicitly given, a setting we refer to as latent graph.

1.1. Differentiable Graph Module

DGM --> 构建表示输入空间的 weighted graph。即：

输入：feature matrix X ∈\in RN×d\mathcal{R}^{N \times d} 或 initial graph G0\mathcal{G_0}

输出：graph G\mathcal{G}

DGM 由两部分组成：

① 将输入特征转换为辅助特征 auxiliary features；

② 用辅助特征构造 graph。

① 将输入特征转换为辅助特征：

输入特征 X∈RN×dX \in \mathcal{R}^{N \times d}

辅助特征 X^=fθ(x)∈RN×d^\hat{X}=\mathcal{f}_\theta(x) \in \mathcal{R}^{N \times \hat{d}}

X^=fθ(x){对G0进行edge−/graph−convolution得到ifG0已知fθ独立应用于每个节点特征，按行作用于矩阵Xotherwise \hat{X}=\mathcal{f}_\theta(x) \left\{ \begin{array}{rcl} 对 \mathcal{G_0} 进行 edge-/graph-convolution 得到 & & {if \mathcal{G_0}已知}\\ \mathcal{f_{\theta}} 独立应用于每个节点特征，按行作用于矩阵 X & &{otherwise} \end{array} \right.

1.2. Diffusion Module

2. Dynamic Graph Convolutional Networks_PR-2020

dynamic graph --> 指每个 graph 的顶点 / 边随时间的变化而变化。

面对很多不同的分类任务，首先需要对结构数据(structured data) 进行处理，通常的处理方式是 --> 将这些结构数据建模为 graphs。

而针对那些顶点 / 边随时间的变化而变化的 dynamic graph 来说，目标则是 --> 利用现有的神经网络将这些数据集建模为随时间变化而变化的图结构(graph structures) 。–> 由于使用现有的架构不能解决上述目标，所以作者提出两种方法来实现这个目标，即：结合 Long Short-Term Memory networks 和 Graph Convolutional Networks 来学习长短期依赖关系和图结构。

论文灵感：

① GCNs 能有效解决图结构(graph-structured)信息，但缺乏处理随时间变化而变化的数据结构的能力，即：不能处理动态节点特征 + 不能处理动态边连接。

② LSTMs 擅长发现长范围和短范围的序列依赖关系，但缺乏显示利用图结构信息的能力。