深度学习扩展_梯度下降

作者: 我_7 | 来源:发表于2020-03-18 20:19 被阅读0次

深度学习扩展_梯度下降
深度模型训练方法
Pytorch_第七篇_深度学习 (DeepLearning)
局部搜索之梯度下降法
神经网络超参数选择
快速理解梯度下降法
Gradient Descent (梯度下降)
深度学习-机器学习
你真的弄懂算法面试必会的三个知识点了吗？
深度学习

$f^{ \prime}(x)$ ：当 $x$ 发生微小变化的时候， $f(x)$ 的变化有多大。可用式子表示 $f(x+ \varepsilon ) \approx f(x)+\varepsilon f^{ \prime}(x)$

$f(x- \varepsilon \ \mathrm{sign}( f^{ \prime}(x)) )<f(x)$

$\nabla f(\mathbf{x})$ 是梯度，指向最陡上升方向。

$\nabla_{\mathbf{v}} f(\mathbf{x})$ 是方向导数，并不指向最陡上升方向。

$\mathbf{v} =\begin{bmatrix} 2 \\[0.3em] 3 \\[0.3em] -1 \\[0.3em] \end{bmatrix}$ ， $\nabla_{\mathbf{v}} f(x,y,z) = 2\frac{\partial f}{\partial x}+3\frac{\partial f}{\partial y}+(-1)\frac{\partial f}{\partial z}$ 沿着 $\mathbf{v}$ 方向的微小推动可以被分解成 $x$ 方向上的2个微小推动， $y$ 方向上的3个微小推动，以及在 $z$ 方向上向后微小的微移 $-1$

在 $\mathbf{v}$ （单位向量）方向的方向导数是函数 $f$ 在 $\mathbf{v}$ 方向上的斜率 $\nabla_{\mathbf{v}} f(\mathbf{x})=\left.\frac{\mathrm{d} f_{\mathbf{v}}}{\mathrm{d} α}\right|_{α=0}=\lim _{α \rightarrow 0} \frac{f(\mathbf{x}+α \mathbf{v})-f(\mathbf{x})}{α}=\mathbf{v} \cdot \nabla f(\mathbf{x})$ ，其中 $\mathbf{v}^T\mathbf{v}=1$

当 $\mathbf{v}$ 和 $\nabla f(\mathbf{x})$ 方向相反的时候， $\min \nabla_{\mathbf{v}} f(\mathbf{x})$ 成立。

同理当方向相同的时候 $\max \nabla_{\mathbf{v}} f(\mathbf{x})$ 成立。

PS：衡量2个标准化向量是否接近，就是让其做內积，內积越大就表示越接近。（如果没有标准化，不改变方向，只改变向量的长度，也能增加內积的值）

深度学习扩展_梯度下降
：当发生微小变化的时候，的变化有多大。可用式子表示是梯度，指向最陡上升方向。是方向导数，并不指向最陡上升方向。...
深度模型训练方法
深度模型拥有很多超参：学习步长：alpha momentum 梯度下降参数：beta Adam 梯度下降参数：b...
Pytorch_第七篇_深度学习 (DeepLearning)
深度学习 (DeepLearning) 基础 [3]---梯度下降法 Introduce 在上一篇“深度学习 (D...
局部搜索之梯度下降法
在各种最优化算法中，梯度下降法是最常见的一种，在深度学习的训练中被广为使用。梯度下降法的场景假设梯度下降法的基本...
神经网络超参数选择
1. 学习率 1.1 是什么深度学习模型通常由随机梯度下降算法进行训练。随机梯度下降算法有许多变形：例如 Ada...
快速理解梯度下降法
1. 梯度下降法的抽象理解梯度下降法（Gradient descent）是深度学习中的最基础的工具之一，它是一种...
Gradient Descent (梯度下降)
重要性梯度下降算法在机器学习和深度学习中扮演者重要的角色。在构建模型时，往往需要对数据进行学习，而梯度下降就是...
深度学习-机器学习
零基础入门深度学习(1) - 感知器机器学习 | Coursera 深度学习笔记（一）感知器、梯度下降、反向传播...
你真的弄懂算法面试必会的三个知识点了吗？
原创：PinkFeet 一、引言反向传播算法、随机梯度下降算法、Batch Normalization是深度学习...
深度学习
零基础入门深度学习(1) - 感知器零基础入门深度学习(2) - 线性单元和梯度下降零基础入门深度学习(3) - ...