一个痛心疾首的发现：这些知识不管学多少遍还是会忘记……
为了加深印象，再再再再看一遍并记录下来。
激活函数是每一层神经网络之后用的非线性函数，因为神经网络本身是线型的，利用激活函数可以使之实现非线性。
激活函数主要有四个: sigmoid, tanh, RELU, Leaky RELU. 还有一位博主将softmax 也加了进来。也有一定的道理，因为这五个小兄弟都是将一个维的向量映射为另一个
维的向量。
接下来的话照搬这个知乎专栏
sigmoid函数及其导数
sigmoid函数会导致梯度消失(gradient vanishing)。
tanh
ReLU
leaky ReLU
Softmax的使得映射后的元素之和为1，通常用在分类任务最后一层。
梯度下降是神经网络优化的方法，令输出逼近目标值。
这篇博文讲述了
交叉熵损失函数
一个痛心疾首的发现：这些知识不管学多少遍还是会忘记…… 为了加深印象，再再再再看一遍并记录下来。 一、激活函数 激...
重点 1 特征归一化2 损失函数3 梯度下降 特征归一化 损失函数 梯度下降法
假设公式 损失函数 梯度下降 过拟合 防止过拟合： 梯度下降
推导 sigmoid 推导LR损失函数 推导LR梯度下降 Softmax原理 softmax 损失函数 softm...
logistic回归 其中取值范围 (0, 1) 损失函数 梯度下降（求损失函数的最小值）
模拟实现梯度下降1.1 损失函数可视化 定义损失函数与求导 寻找最佳参数 模拟梯度下降 输出 查看生成了多少个th...
关键词：输入层、输出层、中间层、单元\节点、感知器、BP神经网络、激活函数、深度学习、梯度下降、损失函数、反向传播...
目录 假设函数概念 线性假设类损失函数 梯度下降和随机梯度下降 矩阵迹的倒数 正规方程法解线性假设函数最优参数 1...
梯度下降是最小化风险函数/损失函数的一种经典常见的方法，下面总结下三种梯度下降算法异同。 1、 批量梯度下降算法（...
感知机算法 算法描述： 梯度下降 将损失函数梯度下降过程定义为函数 以下代码命名为perceptron.py 实例...
本文标题：激活函数\梯度下降\损失函数
本文链接：https://www.haomeiwen.com/subject/zbmzzqtx.html
网友评论