通道

卷积网络使用的的数据通常包含多个通道，每个通道上是时间上或空间中某一点的不同观测量

卷积算法

现代卷积网络的应用通常需要包含超过百万个单元的网络。利用并行计算资源的强大实现很关键，但在很多情况下，可选择适当的卷积算法来加速卷积。
卷积等效于使用傅里叶变换将输入与核都转换到频域、执行两个信号的逐点相乘，再使用傅里叶变换回时域。

随机或无监督的特征

通常，卷积网络训练中比较昂贵的部分是学习特征。输出层的计算代价通常相对不高，因为再通过若干层池化之后作为该层输入的特征的数量较少。当使用梯度下降执行监督训练时，每部梯度计算需要完整地运行整个网络的前向传播和反向传播。减少卷积网络训练成本时一种方式是使用那些不是由监督方式训练得到的特征。
三种策略：
1、简单的随机初始化
2、手动设计，例如设置每个核在一个特定方向或尺度来检测边缘
3、无监督的标准来学习核，例如用k均值聚类算法应用于小图像块，然后每个中心作为卷积核

一个中间的方法，是不需要在每个梯度计算步骤中都进行完整的前向和反向传播的方法。我门使用贪心逐层预训练，单独训练第一层，然后一次性地从第一层提取所有特征，然后用那些特征单独训练第二层。。。。。。