《统计学习方法》极简笔记P6：逻辑回归与最大熵模型算法推导

作者: 统计学家 | 来源:发表于2019-08-19 22:32 被阅读0次

逻辑回归模型

Logistic分布
分布函数
$F(x)=P(X\leq{x})=\frac{1}{1+e^{-(x-\mu)/{\gamma}}}$
密度函数
$f(x)=F'(x)=\frac{e^{-(x-\mu)/\gamma}}{\gamma({1+e^{-(x-\mu)/\gamma})}^2}$
逻辑回归模型
$P(Y=1|x)=\frac{exp(w\cdot{x}+b)}{1+exp(w\cdot{x}+b)}$
$P(Y=0|x)=\frac{1}{1+exp(w\cdot{x}+b)}$
比较上述两个条件概率值，将实例x分到概率大的那一类
记
$w=(w^{(1)},w^{(2)},...,w^{(n)},b)^T$
$w=(x^{(1)},x^{(2)},...,x^{(n)},1)^T$
则，逻辑回归模型如下
$P(Y=1|x)=\frac{exp(w\cdot{x})}{1+exp(w\cdot{x})}$
$P(Y=0|x)=\frac{1}{1+exp(w\cdot{x})}$
另：事件发生概率为p，则该事件的几率(odds)为p/(1-p)，对数几率为logit(p)=log(p/1-p)
所以
$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot{x}$
即，逻辑回归模型中，Y=1的对数几率是x的线性函数

逻辑回归模型参数估计

极大似然估计法
设：
$P(Y=1|x)=\pi(x),P(Y=0|x)=1-\pi(x)$
似然函数为
$\prod_{i=1}^{N}[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}$
对数似然函数为
$L(w)=\sum_{i=1}^{N}[y_ilog\pi(x_i)+(1-y_i)log(1-\pi(x_i)]\\=\sum_{i=1}^{N}[y_ilog\frac{\pi(x_i)}{1-\pi(x_i)}+log(1-\pi(x_i)]\\=\sum_{i=1}^{N}[y_i(w\cdot{x_i})-log(1+exp(w\cdot{x_i}))]$
对于L(w)求极大值，得w的估计值
$P(Y=1|x)=\frac{exp(\hat{w}\cdot{x})}{1+exp(\hat{w}\cdot{x})}$
$P(Y=0|x)=\frac{1}{1+exp(\hat{w}\cdot{x})}$