Logistics回归公式的推导

作者: 若罗 | 来源:发表于2019-05-14 14:45 被阅读0次

逻辑回归 logistics regression
[Python] 机器学习笔记基于逻辑回归的分类预测
Logistics回归公式的推导
机器学习实战-逻辑回归算法
理论-线性回归
Logistic回归与最大熵模型-理论推导
逻辑回归（logistic regression）
Logistics回归
Logistics回归
逻辑回归公式推导

首先根据最大似然估计找到目标函数

$P(y|x;\theta) = (h_\theta(x))^y(1-h_\theta(x))^{1-y}$

似然函数为

$L(\theta) = \prod^m_{i=1}P(y^{(i)}|x^{(i)};\theta) = \prod^m_{i=1}(h_\theta(x^{(i)}))^{(y^{(i)})}(1-h_\theta(x^{(i)}))^{(1-y^{(i)})}$

对数似然为

$l(\theta)=\sum_{i=1}^m\Big(y^{(i)}\log h_\theta(x^{(i)}) + (1-y^{(i)})\log (1-h_\theta(x^{(i)}))\Big)$

代价函数为

$J(\theta) = -\frac{1}{m}l(\theta)$

梯度下降，逐渐更新`$\theta$`

$\theta_j := \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta), (j = 0...n)$

设

$h(x) = \frac1{1+e^{-\theta^Tx}} g(z) = \frac1{1+e^{-z}}$

变量替换，即可由h(x)变换为g(x)

`$\alpha$`是学习速率，然后偏导即为梯度方向：

$\frac{\partial}{\partial\theta}J(\theta) = -\frac{1}{m}\sum^m_{i=1}\Big( y^{(i)}\frac1{h_\theta(x^{(i)})} \frac{\partial}{\partial\theta_j}h_\theta(x^{(i)}) -(1-y^{(i)})\frac1{h_\theta(x^{(i)})} \frac{\partial}{\partial\theta_j}h_\theta(x^{(i)}) \Big) \\ =-\frac1m\sum^m_{i=1}\Big( y^{(i)}\frac1{g(\theta^Tx^{(i)})} -(1-y^{(i)})\frac1{1-g(\theta^Tx^{(i)})} \Big)\frac\partial{\partial\theta_j}g(\theta^Tx^{(i)}) \\ =-\frac1m\sum^m_{i=1}\Big( y^{(i)}\frac1{g(\theta^Tx^{(i)})} -(1-y^{(i)})\frac1{1-g(\theta^Tx^{(i)})} \Big)g(\theta^Tx^{(i)})(1-g(\theta^Tx^{(i)})) \frac\partial{\partial\theta_j}\theta^Tx^{(i)} \\ =-\frac1m\sum^m_{i=1}\Big( y^{(i)}(1-g(\theta^Tx^{(i)})) -(1-y^{(i)})g(\theta^Tx^{(i)}) \Big)x^{(i)}_j \\ =-\frac1m\sum^m_{i=1}\Big( y^{(i)}-g(\theta^Tx^{(i)}) \Big)x^{(i)}_j \\ =-\frac1m\sum^m_{i=1}\Big( y^{(i)}-h(x^{(i)}) \Big)x^{(i)}_j \\ =\frac1m\sum^m_{i=1}\Big( h(x^{(i)})-y^{(i)} \Big)x^{(i)}_j$

上述式子的第三步到第四步，是线性回归的偏导数求法，这里不作展开

上述式子的第二步到第三步，下面有详细推导。

其中最后一步的良好性质，正是我们选择sigmoid函数的原因

逻辑回归 logistics regression
逻辑回归 logistics regression 公式推导逻辑回归虽然名字里面有回归，但是主要用来解决分类问题...
[Python] 机器学习笔记基于逻辑回归的分类预测
参考资料：知乎：逻辑回归 logistics regression 公式推导知乎：逻辑回归和SVM的区别是什么？各...
Logistics回归公式的推导
首先根据最大似然估计找到目标函数似然函数为对数似然为代价函数为梯度下降，逐渐更新`$\theta$` 设...
机器学习实战-逻辑回归算法
关于逻辑回归的理解以及公式推导，可以看前面的文章逻辑回归公式推导逻辑回归 sigomoid function: ...
理论-线性回归
2018.04.25更新：最小二乘法公式推导谷歌关键词：机器学习最小二乘法线性回归公式推导参考链接： ...
Logistic回归与最大熵模型-理论推导
1. logistics 回归模型 1.1 logistics模型构建对于数据集有Logistics模型的基本思...
逻辑回归（logistic regression）
成本最小的学习方案: 了解公式推导指南，用计算机语言实现一遍，解决一个实例。 1. 公式推导在线性回归中，我们研...
Logistics回归
一、概念 Logistic Regression（逻辑回归）是机器学习中一个非常非常常见的模型，在实际生产环境中也...
Logistics回归
from sklearn.linear_model import LogisticRegression 原理：Lo...
逻辑回归公式推导
逻辑回归逻辑回归到底是分类还是回归？它是经典的二分类算法机器学习算法选择：先逻辑回归再用复杂的，能简单的还是用...