交叉熵函数cross_entropy()是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。在信息论中，交叉熵用于度量两个概率分布p,q的相似性，其中p表示真实分布，q表示非真实分布；
深度学习中的交叉熵函数
其输入是One-hot编码的标签和Softmax函数的输出S(Y)。线性层FC的输出为y,即logit。
x > y > softmax(y) -> cross_entropy(softmax(y), one-hot labels)
cross_entropy函数
cross_entropy函数使用范例
Binary Cross-Entropy: Cross-entropy 作为二分类任务的损失函数
Categorical Cross-Entropy: Cross-entropy 作为多分类任务的损失函数
在交叉熵使用实践中：如果平均交叉熵小于0.2，那么是一个良好的开端；小于0.1或0.05甚至更好。可以将平均直熵的这些直觉总结如下：
- 交叉熵= 0.00：完美匹配。
- 交叉熵<0.02：相当不错。
- 交叉熵<0.05：在正确的轨道上。
- 交叉熵<0.20：很好。
- 交叉熵> 0.30：不好。
- 交叉熵> 1.00：太糟糕了。
- 交叉熵> 2.00：东西坏了
网友评论