1. SoftMax原理
一个神经网络输入数据后，一般最后一层会输出一个连续的值，为了实现分类，假设总共有n类，我们可以定义网络的输出包含n个节点，每个节点代表一个输出，谁的输出值最高，那么就认为输入的数据属于哪一类。
然而这显然引入了一个问题：一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。
例如，假设有3类，A，B和C类，其中最后一层输出了0.1，10，0.5，那么此时可以分为B类，但是也可能输出100，10，80，此时又认为应该属于A，但是他们之间的绝对值的差可能很大，这不利于构建loss，换而言之，如果某一类代表的输出先天性的大于其他，那么在收敛时，这一类可能会影响其他结果的分类效果。
1.1.归一化思想
容易想到，解决上述问题的方法可以是归一化，即再构建一层运算，或设置一种loss，使得最终输出的结果为“预测为属于该类的概率”，自然的，所有类的概率的和应该等于1。
认为Yi的概率为:
1.2. 利用信息熵
机器学习之Softmax回归模型 Softmax在机器学习中有非常广泛的应用，但是刚刚接触机器学习的人可能对Sof...
softmax运算_360搜索 机器学习——softmax计算 - 简书 概率与统计——条件概率、全概率、贝叶斯、...
1. 什么是Softmax Softmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C > 2...
机器学习逻辑回归与softmax 补充阅读资料： 吴恩达老师机器学习课程笔记[https://github.com...
前言 在机器学习中的多元分类问题，我们时常使用softmax函数来整理输出结果。那么什么是softmax呢？ 什么...
softmax这个函数用于多分类任务，在我们使用中经常和交叉熵联合起来，至于交叉熵计算loss，以后看到了会写， ...
概念与应用 Softmax是机器学习中一个非常重要的工具，他可以兼容 logistics 算法、可以独立作为机器学...
- softmax 回归 针对逻辑回归，我们只有（0，1）这两个选项，但是在现实世界中，我们的预测结果可能会有多种...
聊聊机器学习中的损失函数 机器学习中的损失函数 平方损失（线性回归） 对数损失（交叉熵损失 softmax, lo...
1.softmax初探在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景...
本文标题：机器学习入门_softmax
本文链接：https://www.haomeiwen.com/subject/ojebbdtx.html
网友评论