参考论文：Graph Adversarial Training: Dynamically Regularizing Based on Graph Structure
功能介绍：虚拟对抗训练是一种正则化方法，正则化在深度学习中是防止过拟合的一种方法。
关于正则化我就不过多展开，此处可理解为提高泛化能力。
最常见的正则化是直接对模型的参数的大小进行限制。
对抗训练
对抗性训练可以作为一种正则化方法来提高泛化性能 以及防止深度学习模型过度拟合。
机器学习方法（包括深度学习）对对抗样本非常敏感，这些对抗样本和非对抗样本非常相似，但是模型（已经在非对抗样本中训练好的模型）却会错分这些样本。为了能更好的分类该类样本，提出了对抗训练的概念。
总结为使得训练模型更好的分类对抗样本，对模型进行的训练。
这里不重点展开重点，详情就看我上一篇文章：
由于本文章是对图对抗训练:基于图结构的动态规则化（GAT）的改进，此处就不详细推导。
GAT详情请看：图对抗训练:基于图结构的动态正则化（GAT）
本篇是在上一篇的基础上进行的讨论，本篇将沿用上一篇的符号意义，并且不再说明，如有需要，则在上一篇手写推导标注中查找。
改进之处：
1.局部平滑度
改动：将损失函数中对于真实标签的分布被替换为当前迭代下的标签预测分布，采用真实分布，具体参数可以进行动态的多次迭代，随着多次迭代，参数数量可以剧增，使得平滑性更好。
2.快速计算对抗方向
采用幂迭代法计算矩阵最大特征值对应的特征向量。
3.增加了额外的正则项
增加条件熵作为额外的正则项，让输出的概率分布更集中，更确定。达到更好的预测效果
数学推导;
网友评论