Logistic regression
目的:分类还是回归?经典的二分类算法!
机器学习算法选择:先逻辑回归再用复杂的,能简单还是用简单的
逻辑回归的决策边界:可以是非线性的
Sigmoid 函数
公式:

自变量取值为任意实数,值域[0,1]
解释:将任意的输入映射到了[0,1]区间
我们在线性回归中可以得到一个预测值,再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换,也就是分类任务

预测函数:

其中

分类任务:

整合:

解释:对于二分类任务(0,1),整合后
y取0只保留

y取1只保留


似然函数:

对数似然:

此时应用梯度上升求最大值,引入转换为梯度下降任务
求导过程:

参数更新:

多分类的softmax:

网友评论