美文网首页
用于NN的交叉熵损失函数

用于NN的交叉熵损失函数

作者: 迪丽娜扎 | 来源:发表于2018-11-10 15:27 被阅读0次

为毛要用交叉熵损失函数(二次函数的不秒处)

1)二次函数损失+S型函数的偏导(sigmoid为例)的问题:

可以看到,不管y是0是1,当σ偏离较远时,偏C会很小,导致学习速率变慢

2)交叉熵损失的定义及其解决上述问题

偏差越大,偏C越大,学习速率越快

交叉熵满足代价函数要求的证明从略

交叉熵与其它S型函数结合的情况类似。

相关文章

网友评论

      本文标题:用于NN的交叉熵损失函数

      本文链接:https://www.haomeiwen.com/subject/ejmzxqtx.html