交叉熵, softmax和MSE

作者: D_Major | 来源:发表于2019-05-22 15:26 被阅读0次

交叉熵

从交叉熵的公式中可以看到交叉熵函数不是对称的(H(p, q) ≠ H(q,p))，它刻画的是通过概率分布q来表达概率分布p的困难程度。因为正确答案是希望得到的结果，所以当交叉熵作为神经网络的损失函数时，p代表的是正确答案，q代表的是预测值。交叉熵刻画的是两个概率分布的距离，也就是说交叉熵值越小，两个概率分布越接近。

cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))

根据交叉熵的公式，应该将每行中的m个结果相加得到所有样例的交叉熵，然后再对这n行取平均得到一个batch的平均交叉熵。但因为分类问题的类别数量是不变的，所以可以直接对整个矩阵做平均而并不改变计算结果的意义。这样的方式可以使整个程序更加简洁。

注意交叉熵刻画的是两个概率分布之间的距离，然而神经网络的输出却不一定是一个概率分布, 所以需要softmax回归转成(0, 1)之间的分布.

信息熵

对于连续型随机变量
$H(p)=H(X)=E_{x∼p(x)}[−logp(x)]=−\int{p(x)logp(x)dx}$
对于离散型随机变量
$H(p)=H(X)=E_{x∼p(x)}[−logp(x)]=−\sum^{n}_{i=1}{p(x)logp(x)}$

KL散度(相对熵)

KL散度 = 交叉熵 - label的信息熵, KL散度是两个概率分布间差异的非对称性度量.若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵与真实分布的信息熵之差，表示使用理论分布拟合真实分布时产生的信息损耗.
$D_{KL}(p||q) = - \sum^{n}_{i=1} {[ p(x_{i}) \log{q(x_{i})} - p(x_{i}) \log{p(x_{i})} ]}$
$= - \sum^{n}_{i=1} {[ p(x_{i}) \log \frac{q(x_{i})}{p(x_{i})}] }$

其中 $p(x_{i})$ 为真实事件概率, $q(x_{i})$ 为预测概率, 后半部分即为交叉熵, 又因为label的信息熵是不变的, 所以只是用交叉熵作为损失函数. 如果完全拟合, 交叉熵等于label信息熵, 否则交叉熵略大, KL散度大于0.
KL散度的缺点在于不对称, 但是当sigmoid作为激活函数时, 不使用距离相关的平方损失函数MSE是因为存在梯度消失的问题, 会导致学习率下降, 交叉熵可以使权重更新公式与sigmoid的导数无关, 避免梯度消失.

Softmax

tensorflow中softmax回归的参数被去掉了, 只是一个额外的处理层. 由于二者经常一起使用, 所以tensorflow将交叉熵和softmax封装成一个函数:

cross_entropy= tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y)

在只有一个正确答案的分类问题中，TensorFlow提供了tf.nn.sparse_ softmax_cross_entropy_with_logits()函数来进一步加速计算过程。

softmax求导

参考 https://blog.csdn.net/bitcarmanlee/article/details/82320853

前面提到，在多分类问题中，我们经常使用交叉熵作为损失函数
Loss= $− \sum^{}_{i} {t_i \ln(y_i)}$

其中， $t_i$ 表示真实值， $y_i$ 表示求出的softmax值。当预测第i个时，可以认为 $t_i=1$ 。此时损失函数变成了:
$Loss_i=−\ln(y_i)$

接下来对Loss求导。根据定义：
$y_i=\frac {e^i} {\sum^{}_{j}e^j}$

我们已经将数值映射到了0-1之间，并且和为1，则有：
$\frac {e^i} {\sum^{}_{j}e^j} = 1−\frac{\sum^{}_{j≠i}e^j} {\sum{}_{j}e^j}$
接下来开始求导

上面的结果表示，我们只需要正向求出 $y_i$ ，将结果减1就是反向更新的梯度，导数的计算非常简单
如果分类结果互斥, 使用softmax, 否则使用k个二分类的logistic回归分类器

MSE

对于回归问题，最常用的损失函数是均方误差(MSE, mean squared error):

mse = tf.reduce_mean(tf.square(y_ - y))

或

mse_loss = tf.reduce_sum(tf.pow(y_ - y, 2)) / sample_size

这里的减号也是元素对应相减.

附: Markdown常用数学公式

$\sum^{x \to \infty}_{y \to 0}{\frac{x}{y}}$
$\lim^{x \to \infty}_{y \to 0}{\frac{x}{y}}$
$\int^{\infty}_{0}{xdx}$
$\frac{\partial x}{\partial y}$
$\sqrt[3]{x+y}$
$\overline{xyz}$
$\leq$

交叉熵, softmax和MSE

交叉熵

信息熵

KL散度(相对熵)

Softmax

softmax求导

MSE

附: Markdown常用数学公式

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读