语言模型是给定前n-1个词,预测下一个第n个词,从概率角度来说,就是寻找一个合适的函数来把前n-1个词进行嵌套获得一个表征来预测第n个词,这里我们会考虑使用一些预处理技巧,而RNN是最合适的也最有效的提取前n-1个词的综合文本表征的方法。
语言模型是给定前n-1个词,预测下一个第n个词,从概率角度来说,就是寻找一个合适的函数来把前n-1个词进行嵌套获得一个表征来预测第n个词,这里我们会考虑使用一些预处理技巧,而RNN是最合适的也最有效的提取前n-1个词的综合文本表征的方法。
本文标题:文本预处理;语言模型;循环神经网络基础
本文链接:https://www.haomeiwen.com/subject/gyqsfhtx.html
网友评论