1.1 从逻辑回归到神经网络(感知机)
1.png
通过给定不同的权重来实现z函数，即神经元实现或门 与门 操作。
2.png
组合不同的神经元可以得到新的输出(单隐层的示例)
3.png
可以通过组合多个线性分类[或] [且]操作，来实现对平面的完美分类。
4.png
1.2 多个线性分类组合与过拟合问题
5.png
理论上双隐层的神经网络可以实现任意形状的分类，但是可能带来过拟合的问题，比如这里 如果 A A之间还存在一部分A 那么会被强制分类到 B类去。
1.3 神经网络表达了与过拟合
- 理论上说单隐层神经网络可以逼近任何连续函数(只要隐层的神经元个数足够多)。
- 虽然从数学上看表达能力一致，但是多隐藏层的神经网络比单隐藏层的神经网络工程效果好很多。
- 对于一些分类数据(比如：CTR预估)，3层神经网络效果优于2层神经网络，但是如果把层数再不断增加，对最后结果的帮助就没有那么大的变化了。
- 图像数据比较特殊，是一种深层（多层次）的结构化数据，深层次的卷积神经网络，能够更充分和准确地把这些层级信息表达出来。
- 提升隐层层数或隐层神经元个数，神经网络容量会变大，空间表达能力会变强。
- 过多的隐层和神经元节点，会带来过拟合问题。
- 不要试图通过降低神经网络参数量来减缓过拟合，用正则化或者dropout。
1.4 神经网络之传递函数
7.png
1.5 BP算法
BP 算法回传误差，根据误差信号修正每层的权重。
网友评论