卷积神经网络-Question

1. 为什么说神经网络可以逼近任意函数？

万能逼近定理的核心主张是，在有足够多的隐藏神经元的情况下，存在着一组可以近似任何函数的连接权值。

神经网络之所以能够逼近任意函数，关键在于将非线性关系函数整合到了网络中。常见的非线性激活函数有 ReLU, Tanh, Sigmoid等。

ReLU是一个简单的分段线性函数-计算消耗小。另外两个都涉及到指数运算，因此计算成本更高。

2. batch size如何选择？

batch_size一般会影响训练的稳定性，Batch size过小会使Loss曲线振荡的比较大，大小一般按照2的次幂规律选择，至于为什么？没有答出来，面试官后面解释是为了硬件计算效率考虑的，海哥后来也说GPU训练的时候开的线程是2的次幂个。

3. MLE（多层感知机）的反向传播？

可以看作损失函数在第层第各节点产生的残差量。记为，从而递推公式可以表示为：

• 如果是回归问题（MSE）：
  
  

• 如果是分类问题（CE）：
  
  

是真实类别。

1. CNN模型中池化层的作用，Max Pooling是如何反向传递梯度的？

池化操作的本质是：降采样。作用有：降低参数量和计算复杂度；还能够保持对平移、伸缩、旋转操作的不变性。

• Mean Pooling：反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变。

  
  

• Max Pooling：max pooling也要满足梯度之和不变的原则。反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大，也就是max id，这个变量就是记录最大值所在位置的。

  
  

2. CNN的反向传播细节？

• 卷积层反向传播

  
  卷积层反向传播-1
  卷积层反向传播-2

• Average pooling的反向传播

  
  

• Max-pooling的反向传播

  
  

3. 卷积操作怎么加速？

对于大的卷积核，加速方法一般使用傅里叶变换（或者其加强版：快速傅里叶变换）。但是对于较小的卷积核，其转换到频域的计算量已经大于直接在空域进行卷积的计算量，所有一般直接在空域中进行卷积计算，其加速计算的方法就是把卷积操作转换成矩阵相乘。

1. 为什么深层神经经网络里的卷积核都改成了3x3，而不是5x5？

一个5x5的卷积核就可以用两个串联的3x3卷积核来代替，一个7x7的卷积核就可以用三个串联的3x3卷积核来代替。

1. 减少参数量：
   • 两个串联的小卷积核需要3x3x2=18个参数，一个5x5的卷积核则有25个参数。
   • 三个串联的小卷积核需要3x3x3=27个参数，一个7x7的卷积核则有49个参数。
2. 引入了更多的非线性：
   • 多少个串联的小卷积核就对应着多少次激活(activation)的过程，而一个大的卷积核就只有一次激活的过程。引入了更多的非线性变换，也就意味着模型的表达能力会更强，可以去拟合更高维的分布。

1. ResNet的结构特点以及解决的问题是什么？

ResNet解决：缓解了深层的神经网络训练中的梯度消失问题。
ResNet通过调整网络结构（残差网络）来解决上述问题。

2. VGG、ResNet这种模型的优势的改进点？

1. VGG创新点：
   • 用3x3小卷积核代替了5x5或7x7的卷积核。
   • 加深了网络深度，证明了更深的网络，能更好的提取特征。
2. ResNet创新点：
   • Shortcut方式解决网络梯度消失问题。
   • 加大网络深度，提高模型的特征抽取能力。
   • 引入BN层加快网络训练速度和收敛时的稳定性。