美文网首页
机器学习 - softmax - 回归

机器学习 - softmax - 回归

作者: rawliu_刘莹 | 来源:发表于2018-03-11 11:12 被阅读0次

- softmax 回归

针对逻辑回归,我们只有(0,1)这两个选项,但是在现实世界中,我们的预测结果可能会有多种。

比如,预测图片中的动物(可能是猫,狗,小鸡,考拉等)。

以下面的图片为例,我们可以看到我们将结果分为4类

C = number of classes = 4  (0,...,3)

我们看神经网络的最后一层,他有四个圆圈,也就意味着他有4个结果。

P(Other|x) : 在给定X的前提下,Other的概率。

P(Cat|x) : 在给定X的前提下,Cat的概率。

P(Dog|x) : 在给定X的前提下,Dog的概率。

P(Chick|x) : 在给定X的前提下,Chick的概率。

这四个概率相加 =1

P(Othe|x) + P(Cat|x) + P(Dog|x)+P(Chick|x)=1

我们再来看这张深度学习的图。

也就是因为softmax回归,我们需要将Z[l]变化未总和为“1”的概率,因此我们有以下几步操作:

1. 将Z[l]上面的值全部加上e指数。

2. 求得每个圆圈的数字,然后除以这四个指数的和。(可以看出,这四个概率的总和一定是1)

3. 这样每个数字的概率,就是啦。

我们来形象的了解下softmax回归

如果softmax回归,的classer是2,它就变成了逻辑回归。

我们来看看softmax的cost function

以上两个矩阵y的第二行是1,表明他是Cat,但是y_hat的概率是0.2,就说明这个模型建立的不够好。

那么,我们如何计算他们的cost function呢?

可以看出,矩阵y只有一个1,其他都是0.

下面,我们考虑有m个训练样本集的情况。

这里要说明的是,由于softmax回归,出现的是一个(4,1)的矩阵,因此当有m个训练样本是,他的返回值,也是(4,m)的矩阵。

可以看到,矩阵的每一列,就是一个y 或者y_hat的值。

相关文章

  • 2018-10-28

    机器学习之Softmax回归模型 Softmax在机器学习中有非常广泛的应用,但是刚刚接触机器学习的人可能对Sof...

  • 机器学习 - softmax - 回归

    - softmax 回归 针对逻辑回归,我们只有(0,1)这两个选项,但是在现实世界中,我们的预测结果可能会有多种...

  • 5.machine_learning_LR_Softmax

    机器学习逻辑回归与softmax 补充阅读资料: 吴恩达老师机器学习课程笔记[https://github.com...

  • 损失函数

    聊聊机器学习中的损失函数 机器学习中的损失函数 平方损失(线性回归) 对数损失(交叉熵损失 softmax, lo...

  • MNIST的四种写法

    本文是我学习机器学习两个月以来的一个小结,主要涉及Logistic回归、Softmax回归、神经网络和CNN四种算...

  • Python3机器学习实践:Softmax回归【实例:鸢尾花分类

    Softmax回归可看作逻辑回归的扩展,用于解决多分类问题。 鸢尾花数据集是机器学习中比较常用的,数据集包含150...

  • MNIST机器学习入门

    这个教程的目标读者是对机器学习和TensorFlow都不太了解的新手。如果你已经了解MNIST和softmax回归...

  • MNIST练习——Softmax&卷积网络

    学习目标 Softmax 卷积网络 Softmax 简介 Softmax回归模型应用在多分类问题中,通过样本的特征...

  • 每天一个知识点(十四)

    最近工作有点忙,没有太多时间学习了。 Softmax回归: Softmax回归是一个线性多分类模型,来自Logis...

  • Softmax 回归

    1 简述 Logistic回归模型是 softmax回归模型 k=2 的特例,softmax回归就是一般线性回归的...

网友评论

      本文标题:机器学习 - softmax - 回归

      本文链接:https://www.haomeiwen.com/subject/ohnifftx.html