生成式方法（generative methods）是对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。
半监督高斯混合模型
我们现在假设数据样本是基于混合高斯模型生成的：
这里假设，类簇与真实的类别顺序对应，第 i 个类簇对应第 i 个高斯混合成分。跟高斯混合聚类类似，这里的主要任务也是估计出各个高斯混合成分的系数和参数。不同的是，对于有标记的样本，其属于固定的高斯类簇：
直观上来看，基于半监督高斯混合模型有机整合了贝叶斯分类器与高斯混合聚类的核心思想，有效地利用了未标记样本数据隐含的分布信息，从而使参数的估计更加准确。同样的，这里对该问题的求解需要用EM算法来做，首先对各个高斯混合成分的参数及混合系数进行随机初始化，计算出各个未标记样本属于各高斯混合成分的概率；再最大化似然函数，对参数进行迭代更新。最终求解出参数。
当参数迭代更新收敛后，对于待测样本x，可以向贝叶斯分类器那样计算出样本属于没个类簇的后验概率，接着找出概率最大的即可：
生成式方法的重点是对于生成式模型的假设，不同的模型假设将产生不同的方法。当然这个方法的关键也就是这个模型假设必须准确，即假设的生成式模型必须与真实数据分布吻合；否则利用未标记数据反倒会降低泛化性能。该方法简单实现，不过在现实任务中，往往很难事先做出准确的模型假设，除非拥有充分可靠的领域知识。
网友评论