深入理解Softmax

• softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！
  假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是

  
  

• 损失函数
  在使用softmax进行多分类时通常采用交叉熵损失函数，具体形式如下：
  

  
  其中y代表我们的真实值，a代表我们softmax求出的值。i代表的是输出结点的标号，在分类任务上，yi取0或1
  对于分类问题，只有一个yi是1，其余是0，因此
                        

• Softmax是什么？怎么求导？

  
  

• Softmax的交叉熵怎么求导？

  
  

举个例子，通过若干层的计算，最后得到的某个训练样本的向量的分数是[ 2, 3, 4 ],
那么经过softmax函数作用后概率分别就是 = ,如果这个样本正确的分类是第二个的话，那么计算出来的偏导就是，最后再根据这个进行反向传播就可以了。是不是非常的客来碗呢？

• 最后
  sigmoid一般用来作为2分类0-1，softmax其实是sigmoid的k分类形式，通常都在神经网络最后一层输出，表示该类别发生的概率。
  参考资料：
  https://zhuanlan.zhihu.com/p/25723112
  https://blog.csdn.net/GreatXiang888/article/details/99293507