第1章 概述
第2章 预备知识
激活函数的优劣
矩阵的克罗内克积可应用于扩维(控制论中智能体之间的联系)
通用逼近定理：多层感知器是一种非常著名的人工神经网络模型，如果包含足够多的隐含神经元，那么即使只有一个隐含层，它所表达的输入输出映射在理论上也能够充分逼近任何一个定义在单位立方体上的连续函数。
内外卷积运算：
膨胀卷积运算：
上下采样运算：平均下采样=平均池化，最大下采样=最大池化
上采样：
梯度下降算法：在无约束条件下计算可微函数极小值的基本方法
反向传播算法：本质上是一种具有递归结构的梯度下降算法，有监督学习算法。
反卷积？
疑问与解答：
我的问题：
1.池化层是否具有权重
否，只有超参数，无权重
2.分类问题输出部分的为何设计多个全连接层相连而非一个全连接+softmax输出，全连接层神经元个数依据什么确定？
3.使用多个卷积核对特征图进一步卷积时，特征组合方式是怎么确定的？代码实现时只是描述了卷积核的个数。
4.对反向传播算法还是一知半解...
第3章 卷积神经网络的现代雏形——LeNet
第4章 卷积神经网络的突破模型_AlexNet
weight_decay
第5章 卷积神经网络的应变模型——SPPNet，Spatial Pyramid Pooling
SPPNet，主要特点是在最后一个卷积层和第一个全连接层之间插入了一个空间金字塔池化层，利用空间金字塔池化层，SPPNet无须对输入图像进行裁剪货变形，就可以处理输入图像大小不同的情况。
对输入图像进行裁剪会造成目标缺失，变形容易产生不必要的几何扭曲。
卷积层用滑动窗的方式进行计算，输出表示激活值空间排列的特征图。事实上，卷积不需要固定大小就能生成任意大小的特征图。
总结：SPPNet=多尺度池化+contact来保持固定长度的输出？
但实际上使用的时候还是会选择固定的输入大小，因为保持训练和测试的一致性
第6章 卷积神经网络的加深模型——VGGNet+GoogleNet
第7章 卷积神经网络的跨连模型——HighwayNet、ResNet、DenseNet、CatNet
第8章 卷积神经网络的的区域模型——R-CNN、Fast R-CNN、YOLO、SSD
利用卷积网络进行目标检测的基本思路是先推荐候选区域，再利用卷积网络对候选区域进行分类
YOLO---你只看一次(You Only Look Once)将目标检测设计为一个回归问题，包括对多个边框和相关类别的回归，
第9章 卷积神经网络的分割模型——FCN、PSPNet、Mask R-CNN
第10章 卷积神经网络的的特殊模型：SiameseNet、SqueezeNet、DCGAN、NIN
第11章 卷积神经网络的强化模型——强化学习
深度强化学习网络在本质上是一种利用卷积神经网络来近似表示最优状态动作值函数以进行强化学习的模型
Q-learning
值迭代+蒙特卡洛(试错的方法)+深度萨沙
第12章 卷积神经网络的顶尖成就——AlphaGo
网友评论