-
softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！
假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是
-
损失函数
在使用softmax进行多分类时通常采用交叉熵损失函数，具体形式如下：
其中y代表我们的真实值，a代表我们softmax求出的值。i代表的是输出结点的标号，在分类任务上，yi取0或1
对于分类问题，只有一个yi是1，其余是0，因此
-
Softmax是什么？怎么求导？
-
Softmax的交叉熵怎么求导？
举个例子，通过若干层的计算，最后得到的某个训练样本的向量的分数是[ 2, 3, 4 ],
那么经过softmax函数作用后概率分别就是 =
,如果这个样本正确的分类是第二个的话，那么计算出来的偏导就是
，最后再根据这个进行反向传播就可以了。是不是非常的客来碗呢？
- 最后
sigmoid一般用来作为2分类0-1，softmax其实是sigmoid的k分类形式，通常都在神经网络最后一层输出，表示该类别发生的概率。
参考资料：
https://zhuanlan.zhihu.com/p/25723112
https://blog.csdn.net/GreatXiang888/article/details/99293507
网友评论