美文网首页
理解激活函数

理解激活函数

作者: 陈昱熹 | 来源:发表于2018-01-17 20:46 被阅读0次

一、何为激活函数?

  • 深度学习中,激活函数通常指能够实现非线性映射的函数

二、为什么需要非线性激活函数?

  • 定义:这里根据常用表示方法将隐藏层第一层作为神经网络的第1层,输入层则作为第0层
  • 根据上述推导,如果使用线性激活函数,无论神经网络有多少层,都只是计算输入特征的线性组合,那还不如全部去掉所有隐藏层。

三、常用的激活函数

四、经验法则

  • 不同层的激活函数可以不一样
  • sigmoid函数除了用在二元分类的输出层,其他情况建议不要使用
  • ReLU函数(修正线性单元)最常用

五、激活函数的导数

相关文章

  • 理解激活函数

    一、何为激活函数? 深度学习中,激活函数通常指能够实现非线性映射的函数 二、为什么需要非线性激活函数? 定义:这里...

  • 激活函数softmax-P2分类任务

    激活函数种类激活函数作用 激活函数 深度学习常用激活函数之— Sigmoid & ReLU & Softmax 深...

  • 神经网络的激活函数总结

    导言 激活函数在神经网络中具有重要的地位。在SIGAI之前的公众号文章“理解神经网络的激活函数”中,我们回答了3个...

  • 深入理解激活函数

    在谈激活函数前,我们先确立一个概念:什么是深度学习?维基百科对深度学习的定义为:“一类通过多层非线性变换对高复杂性...

  • ReLu 激活函数理解

    ReLU激活函数:简单之美深度学习中的激活函数与梯度消失

  • 6.神经网络训练细节part1

    一、激活函数 前边我们学到,一个节点的输出会进入激活函数进行处理 常见的激活函数有以下 sigmoid激活函数 s...

  • tanh函数&logistic函数

    传统Sigmoid系激活函数 传统Sigmoid系激活函数 传统Sigmoid系激活函数,Sigmoid系(Log...

  • 机器学习之神经网络

    什么是神经网络 就是使用了平滑的激活函数的多层感知机 激活函数 什么是激活函数呢? 激活函数就是从输入值到对应输出...

  • [Machine Learning From Scratch]-

    激活层激活函数定义 封装激活层

  • 2019-10-09

    深度学习第三天 激活函数: 激活函数是...

网友评论

      本文标题:理解激活函数

      本文链接:https://www.haomeiwen.com/subject/scyuoxtx.html