1.前言
参考了：https://zhuanlan.zhihu.com/p/35709485
交叉熵（categorical crossentropy）是常见的损失函数。
2.预测政治倾向的例子
模型1
模型1.png
模型2
模型2.png
第一列是预测三个党派的概率，第二列是正确答案。
虽然两个模型都是前两行预测正确，第三行预测错误，但是显然第二个模型正确答案的概率还是高一点，所以第二个模型的效果显然还是好一点。
3.几种评价指标
1.Classification Error（分类错误率）
就像是我们说得正确率，一个思路。
classification_error = (错误数 / 总数)
模型1的classification_error = 1/3
模型2的classification_error = 1/3
2.Mean Squared Error (均方误差)
均方误差.png
（预测值-真实值）的平方，累加再求平均。
模型1的MSE
模型1的MSE.png
模型2的MSE
模型2的MSE.png
3.Cross Entropy Loss Function（交叉熵损失函数）
image.png
公式的最后pic指的是观测样本i属于c类别的概率
然后对pic求log
在乘以yic，yic指的是样本i是否属于类别c属于为1不属于为0
然后在对一个样本的所有类别求和
因为里面都是概率所以大于0小于1，所以需要加个负号，让他变成正数。
然后在对所有样本求和
然后再对所有样本求平均
image.png
image.png
网友评论