一. 逻辑回归简介
目的：
分类还是回归？经典的二分类算法！
机器学习算法选择：
先逻辑回归再用复杂的，能简单还是用简单的
逻辑回归的决策边界：
可以是非线性的
二. Sigmoid 函数
将一个数值的变量，通过Sigmoid函数变为一个[0-1]之间的数，这个可以理解为事件发生的概率，因为概率的取值范围也是[0-1]，这样我们就可以将非线性的变量也用于做回归分析。
公式：
image.png
自变量
取值为任意实数，值域[0,1]
解释：
将任意的输入映射到了[0,1]区间
我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数
中这样就完成了由值到概率的转换，也就是分类任务
预测函数：
image.png
其中
image.png
分类任务：
image.png
整合：
image.png
解释：
image.png
image.png
三. 逻辑回归中的数学
似然函数：
image.png
对数似然：
image.png
image.png
求导过程:
image.png
参数更新：
image.png
多分类的softmax:
image.png
总结：
逻辑回归真的真的很好很好用！
网友评论