美文网首页
2021.03.16 深度学习小红书第五章

2021.03.16 深度学习小红书第五章

作者: 从清晨到夜晚 | 来源:发表于2021-03-17 09:17 被阅读0次

5.1 计算图

1.计算图中从左至右计算是正向传播,反之为反向传播。

2.计算图是局部计算,各节点只计算与自己有关的计算,反向传播的是局部导数。

3.计算图优点 ①集中精力于局部计算,并保存中间的计算结果。

                      ②通过正向传播和反向传播高效的计算各个变量的导数值。

5.2 链式法则

链式法则:如果某个函数由复合函数表示,则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。

5.3 反向传播

1.加法节点的反向传播:将输入信号输出到下一个节点。

2.乘法节点的反向传播:乘以输入信号的翻转值,且反向传播需要正向传播时的输入信号值。

5.5 激活函数层的实现

1.ReLU层

2.Sigmoid层

5.6 Affine/Softmax层

1.Affine层

2.Softmax-with-Loss层

5.7 误差反向传播法的实现

1.梯度确认:数值微分求出的梯度结果与误差反向传播法求出的结果是否一致的操作。


ps:

1.正向传播的矩阵乘积运算又称仿射变换,进行仿射变换的处理实现成为“Affine层”

2.orderedDict是有序字典

3.axis = 0  按行计算; axis = 1 按列计算

相关文章

  • 2021.03.16 深度学习小红书第五章

    5.1 计算图 1.计算图中从左至右计算是正向传播,反之为反向传播。 2.计算图是局部计算,各节点只计算与自己有关...

  • 4.21读书笔记

    4.21第五章学习力——学习不是一味地努力 第二节深度:深度学习,人生为数不多的好出路 >>更深一层的是,读完书能...

  • 2019-07-25

    媒播播深度解析小红书推广规则 小红书是一个网络社区,也是一个跨境电商,做小红书推广的商家都清楚小红书里的用户...

  • 4.22读书笔记

    4.22第五章 学习力——学习不是一味地努力 第二节 深度:深度学习,人生为数不多的好出路 >> 深度学习注重输出...

  • 理财日记(2021)

    2021.03.16

  • 花书 机器学习基础 (阅读笔记)

    深度学习(花书) 第一部分 应用数学及机器学习基础 第五章 机器学习基础 机器学习本质属于应用统计学,利用计算机...

  • 深度体验【小红书】app

    一.产品概述 1.体验环境 2. 体验目的 深度体验并了解互联网Top10的互联网产品APP 二.产品简介 三.产...

  • 2018-09-15

    随着各大电商平台的商品推荐模块的兴起,小红书应该朝着哪个方向发展呢?笔者深度体验“小红书”,先分析了行业背景和发展...

  • 2021.03.16

    早晨出门,太阳早早的就出来了,照在嫩绿的叶子上,泛着点点金光,恍然之间,山野变绿了,天空蓝蓝的,偶尔飞过一只鹰,想...

  • 2021.03.16

    爱自己 早上孩子吃饭磨磨唧唧的,看得我我很抓狂,我琢磨着怎么办,然后我努力压制心里的那团火,眼不见心不烦,我自己去...

网友评论

      本文标题:2021.03.16 深度学习小红书第五章

      本文链接:https://www.haomeiwen.com/subject/ibrscltx.html