前言：
以斯坦福cs231n课程的python编程任务为主线，展开对该课程主要内容的理解和部分数学推导。该课程相关笔记参考自知乎-CS231n官方笔记授权翻译总集篇发布课程材料和事例参考自-cs231n
本章为线性分类器的softmax讲解，紧接上章的SVM，其中涉及到的一些线性分类器的知识已经在上章说明，本次便不再赘述。cs231n课程作业assignment1（SVM）
SoftMax分类器简介：
Softmax和SVM同属于线性分类器，主要的区别在于Softmax的损失函数与SVM的损失函数的不同。Softmax分类器就可以理解为逻辑回归分类器面对多个分类的一般化归纳。SVM将输出f(x_i,W)作为每个分类的评分，而Softmax的输出的是评分所占的比重，这样显得更加直观。
在Softmax分类器中，函数映射f(x_i;W)=Wx_i保持不变，但将这些评分值视为每个分类的未归一化的对数概率，并且将折叶损失（hinge loss）替换为交叉熵损失（cross-entropy loss）。公式如下：
)
或
softmax
总结：
本章主要介绍了另一个线性分类器Softmax，阐述了Softmax与SVM的主要区别，而Softmax的loss function对于以后的神经网络的学习有很大的帮助。
网友评论