sigmoid会饱和，造成梯度消失。于是有了ReLU。
ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。
强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。
太深了，梯度传不下去，于是有了highway。
干脆连highway的参数都不要，直接变残差，于是有了ResNet。
强行稳定参数的均值和方差，于是有了BatchNorm。
在梯度流中增加噪声，于是有了 Dropout。
RNN梯度不稳定，于是加几个通路和门控，于是有了LSTM。
LSTM简化一下，有了GRU。
GAN的JS散度有问题，会导致梯度消失或无效，于是有了WGAN。
WGAN对梯度的clip有问题，于是有了WGAN-GP。
Andrew NG在coursera的ML课程中提到的神经网络结构设计指导原则：
输入层：神经元个数=feature维度
输出层：神经元个数=分类类别数
隐层：
默认只用一个隐层
如果用多个隐层，则每个隐层的神经元数目都一样
隐层神经元个数越多，分类效果越好，但计算量会增大
神经网络发展史 sigmoid会饱和，造成梯度消失。于是有了ReLU。 ReLU负半轴是死区，造成梯度变0。于是有...
练车杂记
神经网络 1. 神经网络基础 2. 浅层神经网络分析 3. 卷积神经网络 4. 卷积神经网络MNIST数字图片识别...
神经网络 1. 神经网络基础 2. MNIST数据集浅层神经网络分析 3. 卷积神经网络 4. 卷积神经网络MNI...
1/神经网络构架: 前向神经网络,典型代表CNN;循环神经网络:典型代表RNN;对称神经网络:典型代表DBN 2/...
今天给大家介绍一下什么是卷积神经网络，以及神经网络是与普通的神经网络有什么不同。卷积神经网络是为了简化普通神经网络...
递归神经网络（RNN）分别是时间递归神经网络和结构递归神经网络。本文主要介绍时间递归神经网络。 Elman递归神经...
神经网络训练细节系列笔记： 神经网络训练细节（激活函数） 神经网络训练细节（数据预处理、权重初始化） 神经网络训练...
学琴杂记 一 很小...
人工神经网络 人工神经网络的概念 人工神经网络（Artificial Neural Networks，ANN）是对...
本文标题：神经网络杂记
本文链接：https://www.haomeiwen.com/subject/gjeduftx.html
网友评论