前言

看了一下午HMM和CRF，还是没太理解里面的知识，大概有以下认知：

• 朴素贝叶斯和HMM都有一个假设：当前观测值只和当前状态有关，因为朴素贝叶斯中数据只有一个状态，所以更常把它的假设称为特征之间相互独立，（大写是向量，小写是标量，概率符号是P）表现为P(X|y)=P(x1|y)*P(x2|y)...P(xn|y)。而HMM中则表现为P(X|Y)=f(xi|yi)。（备注：Y是序列！f 表示连乘符号，i 的范围是从1到n。简书不支持公式，只能这么表示了😂表情倒是支持）
• HMM是生成式模型，主要计算联合概率分布P(X,Y)，重点是计算P(X|Y)；而CRF是判别式模型，计算条件概率P(Y|X)。
• HMM和CRF的公式并不一样，HMM公式中包含两块：发射概率和转移概率。而CRF抛弃了HMM中当前观测值只依赖于当前状态的假设，直接使用特征模板并为每个特征模板计算权重来获得概率。

HMM到CRF的过程

HMM和朴素贝叶斯关系密切，下图展示了如何从朴素贝叶斯到HMM[1]。
朴素贝叶斯是以贝叶斯定理为基础并且假设特征之间相互独立的方法（所谓的特征就是输入向量x中的各个元素）。由假设①，可以得到公式②，因为③，所以要改进朴素贝叶斯让其适用于序列预测，在④和⑤的情况下，可以得到公式⑥。

④的序列元素之间的独立性假设使得模型不符合实际，所以引入转移概率——前一时刻的状态转移到当前状态的概率。由假设⑦可得公式⑧ 但是⑦中的假设也并不合理，因为观察序列由多个相互作用的特征等决定，又引出条件随机场（这里跳过了最大熵HMM，详见[2]）。条件随机场中有很常见的线性条件随机场，如果特征函数仅仅依靠当前单词的标签和它前面的单词的标签对标注序列进行评判，这样建立的CRF也叫作线性链CRF（By restricting our features to depend on only the current and previous labels, rather than arbitrary labels throughout the sentence, I’m actually building the special case of a linear-chain CRF.[4]）。我平时用到的都是线性CRF。

公式

• HMM
• CRF 上面两张图符号和特征函数略有变化，但不影响意思

总结

• 朴素贝叶斯是基于特征条件独立的假设产生的
• 在预测序列时假设①当前观测值只和当前状态有关，并且②序列中状态之间相互独立，这两点都不合理，于是改进②
• 假设③当前状态只依赖于前一时刻的状态，得到HMM，但是①也不合理，于是改进
• 假设④当前状态和整个观测序列都有关，得到最大熵马尔可夫模型（MEMM），假设虽然合理了，但是MEMM存在label bias问题，于是改进
• CRF解决了HMM中当前观测值只依赖于当前状态值，当前状态值只依赖于前一状态值两个问题，CRF让所有观测值和当前状态值之间都有联系，也让所有状态值之间都有联系，但是最常见的还是线性CRF，即当前状态值还是只和前一状态值相关。 还有这种图 这两个都叫linear-chain CRF，我猜测是不是第二种是第一种最简单的形式？

• MEMM到CRF的改进：MEMM使用每个状态的指数模型来确定给定当前状态的下一状态的条件概率，而CRF则使用一个指数模型来表示整个标签序列的联合概率, 这个概率条件依赖于给定的完整观察序列。因此，在不同状态下，不同特征的权重可以相互抵消。也就是说CRF是一个以观测序列X为全局条件的随机场。（不懂）

结尾

花了两天下午看HMM和CRF，虽然还是云里雾里，但是还算有一丢丢收获，之后就要看HMM和CRF如何训练和预测的了，把其中的算法和公式都搞清楚。

参考资料

[1] 条件随机场（CRF）和隐马尔科夫模型（HMM）最大区别在哪里？CRF的全局最优体现在哪里：尔总的马甲的回答
[2] HMM ,MHMM,CRF 优缺点与区别
[3] 如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？:工程师milter的回答
[4] Introduction to Conditional Random Fields