卷积网络——动机

卷积运算运用三个重要的思想来帮助改进机器学习系统 ：稀疏交互（sparse interactions)、参数共享（parameter sharing）、等变表示（equivariant pepresentations).

传统的神经网络使用矩阵乘法来建立输入与输出的连接关系。其中，参数矩阵中每一个单独的参数都描绘了一个输入单元与一个输出单元之间的交互，这其实就意味着每一个输出单元与每一个输入单元都产生交互 ，but 卷积网络具有稀疏交互的特征 。然后呢，呵呵，举个例子：

当处理一张图像时，输入的图像可能包含成千上万个像素点 ，但是我门可以通过只占用几十个到上百个像素点的核来检测一些小的有意义的特征 ，比如说图像的边缘。。。。

这么一来呢，我们所需存储的参数就减少了，那么统计效率也就蹭蹭地上去了。

参数共享：是指 在一个模型的多个函数中使用相同的参数。

卷积运算中的参数共享保证了我们只需要学习一个参数集合，而不是对于每一个位置都需要需学习一个单独的参数集合。

平移等变：参数共享的特殊形式使得神经网络具有平移等变的性质。

If一个函数满足输入改变，输出也以同样的方式改变的这一性质，我们就说它是等变的(equivariant).特别的是：如果函数f(x)和g(x）满足这个性质： f(g(x))=g(f(x))，那么我们就说f(x)对于g(x)具有等变性。

卷积对于一些变换不是天然等变的，比如说图像的缩放或者旋转变换的呢，需要其他机制来处理。