美文网首页
深度学习中的Logitic Regression 3---损失函

深度学习中的Logitic Regression 3---损失函

作者: 墨道院 | 来源:发表于2018-08-14 23:32 被阅读3次

问题的提出

经过前面两篇文章的叙述，我们知道 Logistic Regression的损失函数是：

J = \frac{1}{m} \sum_{i=1}^m (- y^{(i)} \log(a^{(i)}) - (1-y^{(i)} ) \log(1-a^{(i)}))

之前只是直接用这个公式，但是丫是怎么来的呢？ 我们需要回到Logistic Regression问题的本身去探寻。

单神经元 or Logistic Regression的复习

我们知道这块的计算分两部分，即：

对于一个实例数据 x^{(i)}:

z^{(i)} = w^T x^{(i)} + b

\hat{y}^{(i)} = a^{(i)} = sigmoid(z^{(i)})

因为Logistic Regression，所以模型最终输出是1或者0，而Sigmoid函数返回的是区间(0,1)之间的一个实数，这个值域和概率的值匹配，所以我们可以基于上面的计算构建一个伯奴利概率分布。首先为了方便书写公式，先将样本数据索引数去掉，然后以上两个式子简写成：

\hat{y}=\phi(w^Tx +b)

我们约定 \hat{y}=p\left ( y=1|x \right )，即算法的输出\hat{y}给定训练样本x条件下y等于1的概率，那么 p\left ( y=0|x \right )=1 - \hat{y}

所以综合起来有：

\begin{cases} \Pr( y \mid x ) = \hat{y} , \quad \ \ & If (y=1)\\ \Pr( y \mid x ) = 1 - \hat{y}, \quad \ \ & If (y=0)\\ \end{cases}

这两个条件概率公式定义形式为\Pr( y \mid x )并且代表了y=0或者y=1 这两种情况，我们可以将这两个公式合并成一个公式。需要指出的是我们讨论的是二分类问题的损失函数，因此，y的取值只能是0或者1。上述的两个条件概率公式可以合并成如下公式:

\Pr( y \mid x )=\hat{y}^y(1-\hat{y})^{(1-y)}

相关文章

网友评论

      本文标题：深度学习中的Logitic Regression 3---损失函

      本文链接：https://www.haomeiwen.com/subject/dxobbftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|深度学习中的Logitic Regression 3---损失函|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！