基于互信息和左右信息熵实现短语抽取
信息熵是对于分布纯净度的一个度量，这个值随着分布的纯净增加而降低。基于信息熵的这一特性，用于衡量两个词是不是经常组合在一起的情况，若两个词为固定搭配时，那么它们互为对方的唯一连接，也就是从任何一个词的角度来说其连接词的分布都是唯一的。
互信息熵、左单词的信息熵、右单词的信息熵
模型优化流程
1.先求出词组中各个词对应的主题概率，然后整个词组的主题概率就等于各个词的主题概率之和；
2.利用贝叶斯公式，求出给定词下每个主题的概率分布；
3.对于各个词组计算其余弦相似度，将相似度高的词聚为一组，每一组下面都只选一个主题概率最大的词，这样可以实现词更精细的处理。
TextRank算法实现短语抽取
LDA算法实现短语抽取
LDA本身是由文档、主题、词语三个层级组成的结构。而短语则是由词组成的。这里也是先运用LDA做词到文档的主题概率计算，再在词的基础上合并成短语，同时对短语进行优化和处理，具体步骤如下：
1.利用训练文档集产生主题模型，预测新文档的单词对主题的权重以及主题对文档的权重；
2.根据单词对主题的权重以及主题对文档的权重计算单词对文档的权重；
3.对单词按照先后顺序进行两两组合（也可自由设定）并计算其组合后的短语对文档的权重。（这里也借鉴之前新互信计算组合词权重过程中存在的问题，对于低频词会产生比较大的权重，对于组合后的单词首先通过统计词频，选取词频大于指定阈值的短语，这里设置频次在前75%的词）；
4.通过短语所属的而主题进行短语聚合，去除相似度很高，但是概率较小的短语，只保留概率最大的词语；
5.经过上述步骤之后，我们就对于待抽取的短语，进行了按照主题聚类。然后对剩下的短语按照短语相对于文档的主题重要性进行排序和抽取，根据业务需要选出排名靠前的几个短语，作为关键词语。
网友评论