美文网首页
自动求导框架综述

自动求导框架综述

作者: origin42 | 来源:发表于2017-12-28 11:00 被阅读0次

    学习一门技术最好的方式是做一个玩具demo。最近为了深入理解自动求导框架的实现思路,我自己开发了一个自动求导框架,并且使其支持了控制流。在该框架的基础上我又开发了一个简单的RNN(循环神经网络)来学习二进制加法概念,验证框架实现的正确性。RNN实现部分我参考了这位大神的博客:Anyone Can Learn To Code an LSTM-RNN in Python (Part 1: RNN)。框架的源代码在以下地址:

    自动求导框架项目源代码

    目前很多神经网络的结构越来越复杂,传统的手动求导硬编码模型的反向传播很繁琐且不直观。tensorflow等深度学习框架的出现大大缓解了这一问题,科研工作者只需要用框架把自己的神经网络结构设计好,框架会自动对该网络进行反向传播。本系列文章是根据我本人的理解来实现tensorflow这种深度学习框架中的自动求导这一功能。由于水平有限,文章中会有一些错误和不足,希望读者能够指出。

系列包括以下几部分


1. 矩阵求导

2. 链式法则与计算图

3. 控制流与其实现思路

4. 自动求导框架的架构

5. 使用自动求导框架实现RNN

相关文章

  • 5. 使用自动求导框架实现RNN

    本节是自动求导框架技术的最后一节,本系列其余文章包括 自动求导框架综述 1. 矩阵求导 2. 链式法则与计算图 3...

  • 2.链式法则与计算图

    本节是自动求导框架技术的第二节,本系列其余文章包括 自动求导框架综述 1. 矩阵求导 3. 控制流与其实现思路 4...

  • 3.控制流与其实现思路

    本节是自动求导框架技术的第三节,本系列其余文章包括 自动求导框架综述 1. 矩阵求导 2. 链式法则与计算图 4....

  • 4.自动求导框架架构

    本节是自动求导框架技术的第四节,本系列其余文章包括 自动求导框架综述 1. 矩阵求导 2. 链式法则与计算图 3....

  • 自动求导框架综述

    学习一门技术最好的方式是做一个玩具demo。最近为了深入理解自动求导框架的实现思路,我自己开发了一个自动求导框架,...

  • 1.矩阵求导

    本节是自动求导框架技术的第一节,本系列其余文章包括 自动求导框架综述 2. 链式法则与计算图 3. 控制流与其实现...

  • tensor 自动求导

    自动求导(autograd) 直接用张量定义的运算时无法求导的,自动求导功能由 autograde 模块提供。 这...

  • 自动求导

    针对pytorch中自动求导机制进行介绍。 当 x = 1.5时, .reqires_grad 设置为 True,...

  • Pytorch基础篇--0

    源码:github code1.自动求导基础例子 12.自动求导基础例子 23.numpy转tensor;tens...

  • Pytorch_第三篇_Pytorch Autograd (自动

    Pytorch Autograd (自动求导机制) Introduce Pytorch Autograd库 (自动...

网友评论

      本文标题:自动求导框架综述

      本文链接:https://www.haomeiwen.com/subject/ptmmgxtx.html