美文网首页神经网络
rnn其实是一种总结状态机

rnn其实是一种总结状态机

作者: JamesPang_4841 | 来源:发表于2019-01-16 09:09 被阅读0次

    对于给定数据序列{x0, x1, ..., xn-1},求xn,比较简洁的方法是

    将{x0, x1, ..., xn-1}总结为sn-1,再利用sn-1求xn,

    同理,对于求xn+1的问题,我们简化偷懒一下:
    把sn-1连同xn拿来总结为sn,再由sn求xn+1

    于是我们就有了一个新的序列{s0, s1, ..., sn},每一个si都是xi之前所有历史的总结。每次我们只要拿着si来求xi+1就行了,不费劲。

    当然你会发现q(xn|x0, x1, ..., xn-1)很复杂,无法总结为全局一个q(xn|sn-1),结合上一篇文章,我们可知,不同的x0, x1, ..., xn-1值,可能会指向神经网络不同地方,得出完全不同的sn-1,然后每一个领域的s(n-1)与xn的映射关系各自管理。

    所以rnn需要升级为“领域”总结状态机。

    相关文章

      网友评论

        本文标题:rnn其实是一种总结状态机

        本文链接:https://www.haomeiwen.com/subject/lgspdqtx.html