生成式模型PK判别式模型

典型代表:

生成式模型典型代表:朴素贝叶斯,隐马尔可夫模型等

判别式模型典型代表:逻辑回归,条件随机场模型等

各自特点:

生成式模型:由联合概率 ------->求解类别先验概率和类别条件概率

判别式模型:条件概率分布------->参数的后验概率最大------->最大似然法

优缺点对比:

生成式模型:

优点:

1/给出了联合概率密度,蕴含的信息更多

2/训练速度快

3/更加有利于含有隐藏变量的问题

缺点:

1/虽然普适,但准确率多数情况下不如判别式模型(原因之一为生成式模型条件依存关系比较复杂,而人们为了便于计算,则往往会简化模型,比如朴素贝叶斯)

判别式模型:

优点:

1/多数情况下准确率更高

2/可以抽取特征,因而更容易进行一些特征的抽象处理,比如降维处理等

缺点:

1/训练速度慢

在面对实际问题的时候是选择判别式模型还是选择生成式模型还是要根据数据的情况来看,两者相比较的话,各自的优缺点很难说清,可以设计一个A/B test来进行比较.因为所涉及的因素比较多,所以也很难说清楚孰优孰劣.