6 自动微分-阅读笔记（1）

6 自动微分-阅读笔记（1）

作者: 深度学习模型优化 | 来源:发表于2019-06-10 07:37 被阅读0次

自动微分是tensorflow、pytorch和caffe带给我们最大的好处，这为深度学习的发展提供了巨大的便利性。这里我们回顾下自动微分的原理和技术实现。

1 引言

本章会介绍自动微分技术和一些常见的优化技巧，前者是大多数框架能够自由扩展的基础，而后者很多框架都提供了。

在介绍自动微分(Automatic Differentiation)之前，我们先介绍其它两种计算微分的方法，从而说明自动微分的好处在哪里，为什么它会成为大部分深度学习框架的基础。

2 数值微分

这个是比较常见的，来自于微积分中导数和梯度的定义：
$f'(x) = \frac{df}{dx} = \lim_{\Delta x\rightarrow 0} \frac{f(x + \Delta x) - f(x)}{\Delta x}$
在实际中，取 $\Delta x$ 为一个很小的值 $h$ ，于是有
$f'(x) = D_+(h) = \frac{f(x+h) - f(x)}{h}$
或者
$f'(x) = D_-(h) = \frac{f(x) - f(x - h)}{h}$
以及
$f'(x) = D_0(h) = \frac{f(x+ \frac{h}{2}) - f(x - \frac{h}{2})}{h}$

还有一种不怎么熟的理查德森外推法（Richardson's extrapolation）；
$f'(x) = \frac{4 D_0(h) - D_0(2h)}{3}$

相关文章

网友评论

本文标题：6 自动微分-阅读笔记（1）

本文链接：https://www.haomeiwen.com/subject/gleenqtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|6 自动微分-阅读笔记（1）|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！