二分类(逻辑斯蒂回归)的交叉熵损失函数

目录：

• 1.逻辑斯蒂回归(Logistic Regression)
• 2.交叉熵
• 3.二分类交叉熵损失函数的公式推导

1.逻辑斯蒂回归(Logistic Regression)

之前看过大神的一篇文章，推导逻辑斯蒂回归的计算公式，原理不是很容易理解，这里直接列出最终的结论公式：
    
公式右侧就是Sigmoid函数，其将线性回归的结果映射到(0, 1]区间，表示在已知x和条件下的概率。

简单总结：因此对于二分类问题的神经网络，最后层我们使用Sigmoid函数进行激活。Sigmoid函数是推导出来的，它表示样本属于正样本()的概率。

2.交叉熵

交叉熵是衡量真实分布与模拟分布之间的近似程度。

3.二分类交叉熵损失函数的公式推导

在二分类问题中，y取值0，1服从伯努利分布，则有：
时的概率为：
时的概率为：
合并得，

对于已经观察到的样本的结果，它的似然函数为：

它表示在已知条件下，发生的概率值，显然越大越好。

两边取对数，并展开化简得：

乘以-1，将求最大值转换为求最小值：

代价函数称为二元交叉熵损失(BCE)。

用表示经过Sigmoid激活后的模型输出，它表示预测属于正样本的概率。对于任意的样本，有

4.二分类交叉熵损失函数公式的导数推导

，

5.多分类交叉熵损失函数公式的导数推导

Softmax多分类交叉熵的导数公式与Sigmoid二分类一致，详细推导看这里https://blog.csdn.net/qian99/article/details/78046329/。