一、计算图
(y对w的导数,其实就是y到w的所有路径上的导数之和)
叶子节点是用户创建的节点,设置叶子节点可以节省内存,因为更新时,非叶子节点的梯度是会被释放的。
二、动态图
pytorch用的是动态图,tensorflow用的是静态图。
静态图(先搭建好完整图,然后数据再流动):
动态图(根据每一步搭建图):
(y对w的导数,其实就是y到w的所有路径上的导数之和)
叶子节点是用户创建的节点,设置叶子节点可以节省内存,因为更新时,非叶子节点的梯度是会被释放的。
pytorch用的是动态图,tensorflow用的是静态图。
静态图(先搭建好完整图,然后数据再流动):
动态图(根据每一步搭建图):
本文标题:pytorch 计算图与动态图机制
本文链接:https://www.haomeiwen.com/subject/fqhdfhtx.html
网友评论