美文网首页
Deep learning lecture 3

Deep learning lecture 3

作者: 飞奔的红舞鞋 | 来源:发表于2017-12-25 18:46 被阅读11次

    RNN

    Language modeling

    目标:估计一个word sequence的概率

    举个例子: recognize speech or wreck a nice beach, 从声音讯号里是判断不出来,但我们可以估计出来recognize speech的概率会更大一些

    传统的方法是N-gram Language Modeling

    n-1 个字的概率

    smoothing 表示给某些情况一些小概率,例如p=0.0001

    这些概率是不准确的,我们在training data里不能收集到所有情况

    Neural language modeling里,会自动做smoothing

    RNNLM: recurrent neural network language model

    相关文章

      网友评论

          本文标题:Deep learning lecture 3

          本文链接:https://www.haomeiwen.com/subject/ezslgxtx.html