无色声香味触法

图卷积

这篇来写图卷积，标题采用佛经中的“无色声香味触法”的概念。其原因在于图卷积的提出和傅里叶变换有着千丝万缕的联系，而傅里叶变换则是将时域信号变换到频域上进行分析的一种最为基本方法，它可以将复杂的时序信号变换到频域而化繁为简。它教会我们人类所接触世界中的色声香味触皆为时序信号，纷乱陈杂，然而将其变换到另一个空间，说不定只是一系列简单的意识的叠加而已。

总所周知，深度学习在自然语言、图像和语音等上取得的成功很多要归功于卷积神经网络的发现。卷积神经网络的结构设计利用的是图像、语音信号的局部连接先验（像素点和周围的像素点之间有着局部连接的关系）。而现实中的很多其它数据却不一定有着这种关系，但是根据先验知识，我们可以把它们构建为一个具有连接结构的图。图卷积神经网络正是普通卷积神经网络在图像和语音信号上的研究向图信号上的拓展。

1 从图卷积和一维信号卷积说起

这篇公式太多（很多地方我直接从latex写的笔记截图上传）

相似矩阵可以写成如下形式：

这里论述的是现阶段发展起来最为简单的图卷积神经网络，实质上图卷积发展到现在，背后有很多理论，下面我们一步步来看。

2 图上的傅里叶变换

图卷积的发展和图信号的傅里叶变换有着千丝万缕的联系，图信号的傅里叶变换最早源自利用对图信号进行小波变换的研究[2]。个人的理解过程来读懂现在来理解图卷积神经网络，并不需要很多详尽的傅里叶变换知识，我们只需要了解到，这里借用到的是傅里叶变换中的核心思想，将一段时域信号分解为若干个不同频率的信号的和，如：

写了一大堆，整体逻辑结合图2来看, 所谓的图信号傅里叶变换的步骤是：第一步，确定一组在图上很平滑且正交的基向量，通过推导可以发现这组基为图拉普拉斯矩阵的特征向量（普通的傅里叶变换是正弦函数）；第二步，把图信号分解为基向量的加权向量之和，这一步很简单，把图信号在基向量上进行投影就可以得到。

图2，图信号的傅里叶变换(色声香味触-意识界)

3 图信号的卷积

在上一部分中大体论述了图信号的傅里叶变换。图信号的卷积借鉴了卷积在傅里叶变换的频域上的性质：时域中的卷积就对应于频域中的乘积。

图3 图信号卷积的过程

然而然而......，这一种图卷积的定义并不是很让人满意的。Why?，首先计算和矩阵U 的相乘算法复杂度较高，其次，对于较大的图，其拉普拉斯矩阵的特征值计算也会比较困难。所以才会有第1部分我论述的图信号卷积操作。

4 图卷积的更新换代

参考文献
[1] Kipf, Thomas N., and Max Welling. ”Semi-supervised classification with graph convolutional networks.” arXiv preprint arXiv:1609.02907 (2016).
[2] Hammond, David K., Pierre Vandergheynst, and Rémi Gribonval. ”Wavelets on graphs via spectral graph theory.” Applied and Computational Harmonic Analysis 30, no. 2 (2011): 129-150.
[3] Bruna, Joan, Wojciech Zaremba, Arthur Szlam, and Yann LeCun. ”Spectral networks and locally connected networks on graphs.” arXiv preprint arXiv:1312.6203 (2013).