这些图样就像是作弊图形，用现实生活中不存在的方式激活了神经元。如果优化的步骤足够多，最终得到的东西是神经元确实有响应，但人眼看来全都是高频图样的图像。这种图样似乎和对抗性样本的现象之间有紧密的关系。（雷锋网(公众号：雷锋网) AI 科技评论编译也有同感，关于对抗性样本的更早文章可以看这里）用softmax前的值，不用后面的值，因为增大softmax后的某一类类别概率的最简单的办法不是让增加这一类的概率，而是降低别的类的概率。所以根据作者们的实验，以softmax前的类别值作为优化目标可以带来更高的图像质量。
多样性方面的研究也揭露了另一个更基础的问题：上方的结果中展示的都还算是总体上比较相关、比较连续的，也有一些神经元感兴趣的特征是一组奇怪的组合。比如下面图中的情况，这个神经元对两种动物的面容感兴趣，另外还有汽车车身。神经元感兴趣的是一些组合
可视化结果二 样本的多样性
对于真实图像来说，多个不同的样本都可以有很高的激活程度。
神经元之间的互动
同时优化神经元的组合，也可以在神经元之间取插值
对抗性样本
这些图样就像是作弊图形，用现实生活中不存在的方式激活了神经元。如果优化的步骤足够多，最终得到的东西是神经元确实有响应，但人眼看来全都是高频图样的图像。这种图样似乎和对抗性样本的现象之间有紧密的关系。（雷锋网(公众号：雷锋网) AI 科技评论编译也有同感，关于对抗性样本的更早文章可以看这里）
这些高频图样说明，虽然基于优化方法的可视化方法不再受限于真实样本，有着极高的自由性，它却也是一把双刃剑。如果不对图像做任何限制，最后得到的就是对抗性样本。这个现象确实很有意思，但是作者们为了达到可视化的目标，就需要想办法克服这个现象。
不同规范化方案的对比
在特征可视化的研究中，高频噪音一直以来都是主要的难点和重点攻关方向。如果想要得到有用的可视化结果，就需要通过某些先验知识、规范化或者添加限制来产生更自然的图像结构。
实际上，如果看看特征可视化方面最著名的论文，它们最主要的观点之一通常都是使用某种规范化方法。不同的研究者们尝试了许多不同的方法。
不同的规范化方法
频率 惩罚
变换健壮性
先验知识
学习一个先验知识，用gan或者vae
网友评论