想法来源：为了解决RNN训练速度慢，在长序列问题上表现不佳。
价值：
方法：rnn中添加了一个离散的skip门。在跟新这个门的更新方法上用了上下步关联的方法。
缺点：离散问题用了RL和均匀分布解决，不可以的。
详细方案：
-c450
image
其中离散化的可以用伯努利分布或者RL，如果用RL，反向传播的时候，梯度设置为1。相当于是GP，没有用到reward。
数据集：
实验：
文章中的主要实验大多是在比较时间成本和运算成本
ADDING TASK：作者说这个初始的LSTM中的实验数据，对每一个单词序列都标注了是够该被忽略。FLOPs是浮点运算。
-c500
分类任务MNIST
-c500
IMDB
-c500
2018 · ICLR · SKIP RNN: LEARNING TO SKIP STATE UPDATES IN...
2018 · ICLR · AN EFFICIENT FRAMEWORK FOR LEARNING SENTENC...
1)ICLR the international conference on learning represent...
ICLR全称是International Conference on Learning Representatio...
Learning Phrase Representations using RNN Encoder–Decoder...
GRU算法出自这篇文章："Learning Phrase Representations using RNN En...
2018 · ICLR · A NEW METHOD OF REGION EMBEDDING FOR TEXT C...
2201.30cgm.--Gao Huang, RANet (ICLR 2018).[https://arxiv....
导读ICLR2017，论文的主题是如何用一个RNN通过强化学习生成一个效果不错的CNN结构或者一个新的Recurr...
论文原文：Evaluating the Robustness of Neural Networks: An Ext...
本文标题：2018 · ICLR · SKIP RNN: LEARNING
本文链接：https://www.haomeiwen.com/subject/wxicoftx.html
网友评论