随机森林（Random Forest）是一种分类和回归算法，它包含了多个决策树，形成一个森林，随机森林的类别是所有决策树分类回归结果的众数决定。
由于它优点很多，适应比较广泛.
1、能够处理高维数据，不用做特征选择，自动选出那些特征重要。
2、训练速度快，分类精度高。
3、能检测到特征之间的相互影响。
4、不会产生过拟合。
EM 期望最大化（Expectation-Maximization），也叫最大似然估计。它是一种参数估计方法。
基本思想是：参数的取值应该是使随机样本出现的概率最大。因此如果我们知道样样本的概率分布，就可以通过求使概率分布最大的参数值为最终取值。
参考文章1，已知100个男生的身高分布概率，当不知道他们的均值和方差，通过最大似然估计认为，均值和方差应该是使这个概率分布最大。
最大似然估计函数如下：
如果是连乘形式，可以求对数简化为相加形式：
求解可以是求导数为0，即牛顿法或者梯度下降法（计算机中使用）。
HMM，隐马尔科夫模型。HMM在自然语言处理领域应用比较广泛，如汉语分词，词性标注，语音识别。
典型的隐马尔科夫模型，其下一个状态只与当前相关，与其他因素不相关。这样虽然不太正确，可能舍去了很多重要信息，但能简化模型和计算量，得出结果，因此实际中也经常用。
参考一个经典的ＨＭＭ例子，见下图。
HMM能解决三个基本问题：
1、根据观测序列和模型参数，求模型参数已知条件下的观测序列后验概率。
2、求观测序列已知情况下的状态序列最合理取值。
3、如何调整模型参数，使观测序列后验概率取值最大。
LDA（latent dirichlet allocation）叫主题模型，应用在图像分类、文本分类、主题词抽取。
是一个三层贝叶斯概率模型，包含词、主题、文档。
可以解决矩阵稀疏的问题。
是最简单的话题模型（topic model），话题模型就是发现大量文档集合的主题的算法。
可以判断两个文档的相似性和距离。是基于主题模型的语义挖掘技术，能区别两篇文章在语义上的区别，而非词频的区别。
主题模型常用算法有两种：pLSA和LDA。更多内容参考文章6.
1、http://www.cnblogs.com/openeim/p/3921835.html
2、http://www.cnblogs.com/skyme/p/4651331.html（HMM介绍）
3、http://blog.csdn.net/app_12062011/article/details/50408664#t6（HMM在自然语言处理中的应用详细介绍）
4、http://www.52nlp.cn/hmm-learn-best-practices-and-cui-johnny-blog
5、http://blog.csdn.net/daringpig/article/details/8072794
6、http://blog.csdn.net/huagong_adu/article/details/7937616（LDA与TF-IDF的区别）
网友评论