美文网首页ArXiv笔记
神经常微分方程(Chen et al. 1806.07366)

神经常微分方程(Chen et al. 1806.07366)

作者: Kernholz | 来源:发表于2018-12-30 14:56 被阅读1次

论文链接

本文是NIPS2018最佳论文。

传统的神经网络会使用一系列的离散隐藏层,而这篇文章利用一个神经网络将隐藏状态的微分进行了参数化。这一神经网络的输出由一个黑箱的微分方程求解器进行计算求解。像这样的连续深度神经网络具有常量的内存消耗,可以根据每一个输入自适应地调整求值策略,并可以显式地进行数值精度和求解速度之间的交换。

本文具体介绍了以下四个实例:

  • 连续深度残差网络
  • 连续深度潜变量网络
  • 连续正则流——一个可以利用极大似然进行训练的生成模型,该模型不需要对数据维进行分片或排序
  • 利用任意ODE求解器进行可伸缩的反向传播——这一方法不需要知道该求解器的内部结构。
原文图8 NODE与RNN的比较

相关文章

网友评论

    本文标题:神经常微分方程(Chen et al. 1806.07366)

    本文链接:https://www.haomeiwen.com/subject/nrevlqtx.html