令表示输入数据,表示类别标签,表示模型输出,输入与其类别间的互信息为:
上面的公式分项解释如下:
- 表示对于输入取期望,在训练集中等价于,其中表示训练集的数据量;
- 表示模型输出, 表示各类输出的均值,在实际训练中体现为;
于是上式在训练时可表示为:
- 表示类别分布均值的熵,体现分类器的“平均性”或“公平性”(fairness);
- 表示数据样本类别的熵的平均值,最小化该值体现分类器的“明确性”或“坚定性”(firmness)。
参考文献:
Bridle J, Heading A, MacKay D. Unsupervised classifiers, mutual information and'Phantom targets[J]. Advances in neural information processing systems, 1991, 4.
网友评论