1.文章总体脉络
Adversarial training是一种判别式有监督的对抗训练，在加入额外的扰动(perturbations)的情况下仍然具有较好的判别能力。
Virtual Adversarial training是Adversarial training的一种扩展，适用于半监督学习(loss与noise)。
2.文章内容
文章的核心是：在word embedding(标准化处理)上增加扰动，从而增强模型的鲁棒性，提升分类器的准确率。
Adversarial training
扰动的选择：
损失函数：
无论是r的选取还是loss函数，都是与标签y有关，因此对抗训练只是适用于有监督的方式。
选择的扰动r是最小化loss函数，从而提升鲁棒性。而g为loss函数的梯度，对应的是梯度上升，因此取-g方向。g//|g|是为了进行归一化处理。那么前面的e可以视为是调节扰动大小的一个值。
Virtual Adversarial training
扰动选择：
损失函数：
无论是r的选取还是loss函数，都只是与分布有关系，因此对抗训练使用于半监督的方式。
选择的扰动r是最大化KL散度，从而提升鲁棒性。因此用g的方向即可。
label data 和 unlabeld data
无标签的用Virtual Adversarial training，有标签的用Adversarial training，最后模型的loss为两个loss之和。
参考链接：
网友评论