图卷积

作者: 学术界末流打工人 | 来源:发表于2020-08-12 23:33 被阅读0次

图卷积
2020 经典卷积神经网络(1) VGG
TensorFlow从头迈步W6.2-卷积核
softmax 交叉熵推导以及pytorch代码验证
# tensorflow实战笔记（二）
Q:空洞卷积卷积核大小，卷积过程？
MobileNet中的分组卷积和传统卷积的区别
卷积神经网络详解（上）
反卷积与上采样
Tensorflow卷积实现原理+手写python代码实现卷积

图卷积简介

经典的卷积网络的局限：无法处理图结构数据

经典卷积网络与图卷积网络处理不同数据图

经典卷积处理图结构数据的局限性

只能处理固定输入维度的数据
局部输入数据必须有序
语音，图像，视频（规则结构）满足以上两点要求。但并不适用于图结构数据(非欧几里得空间数据)

欧几里得与非欧几里得数据图

部分较为经典模型

经典模型时间图

图卷积的背景知识

什么是卷积？

根据卷积定理，两信号在空域(或者时域)的频域中的傅里叶变换的乘积，即：
$F[f_1(t)*F_2(t)] = F_1(w) · F_2(w)$
其中 $f(t)$ 为空域上的信号, $F_1(w)$ 为频域上的信号。 $F_1(w)$ 为频域上的信号。 $F$ 为傅里叶变换，*表示卷积，·为乘积。

关于卷积更详细的讲解：
如何通俗易懂地解释卷积？

也可以写成： $f_1(t)*f_2(t)=F^{-1}[F_1(w)·F_2(w)]$
其中：

$f_1(t)$ 为空域输入信号
$f_2(t)$ 为空域卷积核
$F^{-1}$ 为傅里叶反变换
$F_1(w)$ 为频域输入信号
$F_2(w)$ 为频域卷积核

傅里叶变换

傅里叶变换公式: $F(w)=F[f(t)]=\int^{\infty}_{-\infty}{f(t)e^{-iwt}dt}$

基于图论的傅里叶变换
- 经典傅里叶变换
  - $x(t)=\frac 1 n \sum^{n-1}_{w=0}e^{i\frac{2\pi}ntw}X(w)$
- 图傅里叶变换
  - $x(i)=\sum^n_{l=1}\hat x(\lambda_l)u_l(i)$

拉普拉斯矩阵(Laplacian Matrix)

符号设置：

无向图 $G=(V,\xi,W) |V|=n$
邻接矩阵 $W \in \mathbb{R}^{n\times n}$
度矩阵 $d\in \mathbb{R}^{n\times n} , D_{ii}=\sum_j w_{ij}$

拉普拉斯矩阵的定义：度矩阵减邻接矩阵

上图中：

Labeled graph：代表G
Degree matrix：代表D
Adjacency matrix：代表W
Laplacian matrix：L=D-W

拉普拉斯矩阵是对称半正定矩阵：
证明如下：对于任意向量 $f=[f_1,f_2,...,f_n]^T$ 有
$f^tLf=f^TDf-f^TWf \\=\sum^n_{i=1}d_if^2_i-\sum^n_{i,j=1}f_if_jW_{ij} \\ =\frac 1 2(\sum^n_{i=1}d_if^2_i-2\sum^n_{i,j=1)}f_if_jW_{ij}+\sum^n_{j=1}d_jf^2_j) \\ =\frac 1 2(\sum^n_{i,j=1})W_{ij}(f_i-f_j)^2)\geq 0$

拉普拉斯矩阵特点：

n阶对称矩阵一定有n个线性无关的特征向量。
对称矩阵的不同特征值对应的特征向量相互正交，这些正交的特征向量构成的矩阵为正交矩阵。
实对称矩阵的特征向量一定是实向量
半正定矩阵的特征值一定非负。

正定矩阵(positive definite matrix)

定义：给定一个大小为 $n\times n$ 的实对称矩阵 $A$ ,若对于任意长度为n的非零向量 $x$ ,有 $x^T Ax >0$ 恒成立，则矩阵 $A$ 是一个正定矩阵。

半正定矩阵(positive semi-definite matrix)

定义：给定一个大小为 $n\times n$ 的实对称矩阵 $A$ ,若对于任意长度为 $n$ 的向量 $x$ ,有 $x^TAx \geq 0$ 恒成立，则矩阵 $A$ 是一个半正定矩阵。

拉普拉斯矩阵的谱分解

特征分解（Eigen decomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。
$L = U\Lambda U^{-1} = U \left[ \begin{matrix} \lambda_1 \qquad \qquad \\ \ddots \\ \qquad \qquad \lambda_n \end{matrix} \right] \\ U=(\vec{u}_1,\vec{u}_2,...,\vec{u}_n) \\ \vec{u}_i \in \mathbb{R},i=1,2,...,n$

特征值特征向量详细讲解

附录

其他资源

图论方向每年论文总结

References

图卷积
图卷积简介经典的卷积网络的局限：无法处理图结构数据经典卷积处理图结构数据的局限性只能处理固定输入维度的数据 ...
2020 经典卷积神经网络(1) VGG
在卷积神经网中，我们通过调整不同尺寸的卷积核或不同 pattern 卷积核来读取一张图。通过卷积将空间上特征逐渐转...
TensorFlow从头迈步W6.2-卷积核
多个卷积核的作用卷积核就是滤波器，经过卷积操作会得到不同的特征图。对不同的特征进行采样。
softmax 交叉熵推导以及pytorch代码验证
1 卷积网络流程图一个简单的卷积神经网络对于给定的输入图片，经过卷积池化过后得到feature map 然后再拉...
# tensorflow实战笔记（二）
实现卷积神经网络卷积图示：LE-Net5 这个图可以利用来学习单通道卷积，例如下面mnist训练的数据仅仅用到黑...
Q:空洞卷积卷积核大小，卷积过程？
如下图图b，在某处看到，关于空洞卷积卷积核大小，rate=2时，卷积核大小示意图，蓝色部分，大小为7*7 另一处，...
MobileNet中的分组卷积和传统卷积的区别
MobileNet 中的卷积层将传统的卷积层是有差别的对于传统的卷积层而言，对于将要输出的每一张特征图而言，都是从...
卷积神经网络详解（上）
卷积层卷积操作就是用卷积后得到的图组数据重构输入图像，然后作为后续输入我们得到一些数据，作为网络的输入，在CNN...
反卷积与上采样
在卷积操作中，提取特征图，图像像素会降低减小。反卷积的过程其实就是恢复特征图的一个像素的过程。在我的理解看来，反...
Tensorflow卷积实现原理+手写python代码实现卷积
从一个通道的图片进行卷积生成新的单通道图的过程很容易理解，对于多个通道卷积后生成多个通道的图理解起来有点抽象。本文...