Softmax激活函数、交叉熵损失及参数更新

交叉熵（Corss Entropy）损失函数定义

    二分类问题:

     = - (y + (1-y))

    多分类问题：

     = - y

激活函数：

    SoftMAX 定义（多分类）

         = 

    Sigmoid 定义（二分类）

             = 

Sigmoid 交叉熵损失求导：

     = -  ( 为期望值， 为预测值)

SoftMax 交叉熵损失求导(是不是很简单)：

     =  

Loss =   (为正则化惩罚)

参数更新:

 ( 为学习率，注意是反向梯度)

训练过程