01-26:损失的重新理解啊！

学习了这么久，今天才真的明白这个交叉熵的来源或者说原理啊！

1、从信息量/熵表示

2、再对两个分布的K-L散度

3、最后到交叉熵的表示（二分类、多分类）

以及交叉熵得到的损失函数在求梯度之后，反向传播之后应用在参数上，更新参数。

具体在tf应用的代码，毕竟tf的特色之一是自动微分机制呐。

todo:待补充代码

参考资料：

1、一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉

https://blog.csdn.net/tsyccnh/article/details/79163834

2、损失函数 - 交叉熵损失函数

https://zhuanlan.zhihu.com/p/35709485

3、PyTorch学习笔记——多分类交叉熵损失函数

https://zhuanlan.zhihu.com/p/56638625