补充知识-3-交叉熵

1.前言

参考了：https://zhuanlan.zhihu.com/p/35709485

交叉熵（categorical crossentropy）是常见的损失函数。

2.预测政治倾向的例子

模型1

模型1.png

模型2

模型2.png

第一列是预测三个党派的概率，第二列是正确答案。
虽然两个模型都是前两行预测正确，第三行预测错误，但是显然第二个模型正确答案的概率还是高一点，所以第二个模型的效果显然还是好一点。

3.几种评价指标

1.Classification Error（分类错误率）

就像是我们说得正确率，一个思路。
classification_error = (错误数 / 总数)
模型1的classification_error = 1/3
模型2的classification_error = 1/3

2.Mean Squared Error (均方误差)

均方误差.png

（预测值-真实值）的平方，累加再求平均。

模型1的MSE

模型1的MSE.png

模型2的MSE

模型2的MSE.png

3.Cross Entropy Loss Function（交叉熵损失函数）

image.png

公式的最后pic指的是观测样本i属于c类别的概率
然后对pic求log
在乘以yic，yic指的是样本i是否属于类别c属于为1不属于为0
然后在对一个样本的所有类别求和
因为里面都是概率所以大于0小于1，所以需要加个负号，让他变成正数。
然后在对所有样本求和
然后再对所有样本求平均

image.png
image.png