SeLU

---

scaled exponential linear units，selu：放缩指数线性单元

一般在深度学习的模型中，在每一层添加批处理能够使得网络收敛的更快，同时在效果上也有提升
作者通过求解不动点，设计出了一个新颖的自稳定激活函数，保证训练过程中梯度不会爆炸或消失，而且定理的假设非常弱，作用域非常大，直觉很容易理解
这篇完整提出的激活函数，能够使得样本分布自动归一化到0均值和单位方差

SeLU的核心公式

不同于RELU,PRELU，ELU，这些lambda的值都设置为1，而SELU的lambda的值大于1，在x的正半轴，即方差过小的时候可以让它增大，同时防止梯度消失

其中，tensorflow中实现selu的激活函数的方法

def selu(x):
  with ops.name_scope('elu') as scope:
    alpha = 1.6732632423543772848170429916717
    scale = 1.0507009873554804934193349852946
    return scale*tf.where(x>0.0,x,alpha*tf.nn.elu(x))