参考文献：Graph Adversarial Training: Dynamically Regularizing Based on Graph Structure
GAT在GCN的基础上，通过添加对抗训练构造对抗样本，提高模型的鲁棒性稳定性
引入
对抗性训练
对抗性训练可以作为一种正则化方法来提高泛化性能 以及防止深度学习模型过度拟合。
机器学习方法（包括深度学习）对对抗样本非常敏感，这些对抗样本和非对抗样本非常相似，但是模型（已经在非对抗样本中训练好的模型）却会错分这些样本。为了能更好的分类该类样本，提出了对抗训练的概念。
总结为使得训练模型更好的分类对抗样本，对模型进行的训练。
优点：
1.对抗性训练可以作为一种正则化方法来提高泛化性能 以及防止深度学习模型过度拟合。
关于对抗样本和和对抗攻击详情请看上篇文章，此处不多讲述：
神经网络中的对抗攻击与对抗样本
论文里面的例子和讲述不便于理解，这里我就简单讲解一下我的理解
（先前写的论文内容都删了，心塞（QAQ），但是关于平滑性等方面得深度，本次没有深入讨论。）
GAT的运行过程简述：
由于判别模型可以转化为生成模型，此处假设模型为生成模型
在每个训练样本点的固定范围内找一个预测分布和样本点相差最大的样本点，个样本点就是由原样本点在一定扰动下找到的样本点，利用相差最大的样本点优化参数来减小偏差。
每次优化参数并减小损失函数结果前，先优化扰动，使得扰动在参数条件下，使得每个训练样本偏差最大，使当前扰动的最大偏差为正则项。
利用one hot编码获得样本点的离散概率分布，切断了不同标签在连续数值上的联系。
利用快速梯度优化扰动方向，让扰动沿着损失最大化方向变化，使得扰动最大化，进而获取当前扰动的最大偏差作为正则项。像是在对抗损失函数的减小，因此叫对抗训练。
只适用于监督学习
数学推导：
后续优化，在下一篇VAT讨论
网友评论