（卷积）神经网络 | caffe

1.Caffe：Convolutional Architecture for Fast Feature Embedding.

2.卷积神经网络的功能？

• 对于一张原始图片自动学习出最匹配的卷积核以及其组合方式（最具代表性的特性）

3.一个基本卷积网络的组成：

• 卷积层
• 池化层
• 输出层

4.步长（stride）是什么？

• 连接权重（Weight）在原始图像上每次平移几个像素单位（水平+垂直方向）。

5.步长变大，会怎么样？

• 图像的规格变小

6.same padding是什么？

• 通过Weight从原始图像中提取特性时，图像的规格会变小，为了使图像仍保持原始图像规格，可以在原始图像周围添加一层（或多层）0，人工添加边界。

7.池化的作用？

• 减少图像的空间大小。

8.池化的方式？

• Mean / Max

9.非线性部分存在的意义？（sigmoid & 双曲正切函数）

• 数据归一化（将数据限制在(0,1)或(-1,1)范围内）
• 若仅存在线性部分，迭代后的数据仍能用线性表示，那叠加多层神经网络也就失去了意义。

10.在空间中的五种操作

• 升维/降维
• 放大/缩小
• 旋转
• 平移
• 弯曲

11.每层神经网络的数学理解：

• 线性变换与非线性变换的组合，将输入空间投向另一个空间。

12.每层神经网络的物理理解：

• 通过现有的不同物质的组合形成新物质。

13.神经网络的目的？

• 通过矩阵的线性变换和激活函数的非线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。

weight-filter {
     type: "xavier"//一种算法，防止初始化的Weight偏差太大
}

kernel_size //权重参数（Weight）的大小
test_iter //test_iter * batch_size(测试集的) = 测试集的大小
test_interval //训练时，每迭代test_interval，就进行一次测试（accurary & loss）
lr_mult //学习率，第一个是Weight，第二是bias
num_output //卷积核（filter）的数量
InnerProduct // 即为Fully_connected Layer（全连接层 / 内积层）
display: 100 ///每迭代100次显示一次
ReLU //Rectified（矫正的） Linear Units（激活函数）---sigmoid & 双曲正切函数
weight_decay //权重衰减（放在正则项regularization前面的一个系数）---防止过拟合
momentum //动量，梯度下降法中的一种常用加速技术
forward pass //前向传播---接收输入并计算输出
backward padd //反向传播---接收输出梯度并计算相关参数和输入梯度，并反向传播给前面的层
setup //初始化设置

15.隐含层和输出层的神经元都是拥有激活函数的功能神经元。

16.神经网络的学习过程？

• 根据训练数据调整神经元之间的连接权(Weight)，以及每个功能神经元的阈值。

17.什么叫进行了一轮学习(one epoch)？

• 读取一遍训练集。

18.累积BP(Back Propagation)算法，在读取整个训练集D一遍后才对参数进行更新，参数更新频率低。

19.过拟合是啥？

• 随着拟合误差的减小，一开始预测误差也随之减小，但随着拟合误差到了某个临界点后，预测误差反而会增大。

20.无监督逐层训练(Unsupervised Layer-wise Training)

①存在的原因？

• 多隐层神经网络不能直接使用经典算法（如：标准BP算法）

②为啥不能用？

• 因为误差在多隐层内逆向传播，会"发散"(diverge)，因而不能收敛到稳定状态。

③无监督逐层训练是什么？

• 每次训练一层隐节点，训练时，将上一层的隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入。这个过程叫：预训练(pre-training)

• 当全部预训练完成后，再对整个网络进行微调(fine-tuning)训练

④预训练和微调的作用？

• 先从每组中找到其中（局部）较好的设置，然后再进行全局寻优。

21.权共享(Weight Sharing)

①是什么？

• 在训练中，无论在卷积层还是采样层，让一组神经元使用相同的连接权(Weight)。

22.特征映射(Feature Map)是什么？

①每个特性映射是一个平面，由神经元阵列组成，多个这样的面就构成了一个卷积层。

②那么特性映射有什么用？

• 通过一种卷积滤波器提取输入的一种特征。

23.卷积神经网络的特殊性？

• 神经元之间并非全连接。
• 同一层中某些神经元之间的连接权重(Weight)是共享的。

C：特征提取层
S：特征映射层

25.数据类型

①数据库Data

• source
• batch_size（batch_size: 64 一次训练64条数据）
• rand_skip
• backend（default：LevelDB）或LMDB

②内存Data

• batch_size
• channels
• height
• width

③HDF5 Data（Hierarchical Data File）

• source
• batch_size

④Images Data

• source
• batch_size
• rand_skip
• stuffle（是否随机打乱图片顺序）
• new_height
• new_width

⑤Windows（窗口） Data

• source
• batch_size