逻辑回归模型

作者: 0_oHuanyu | 来源:发表于2020-07-13 20:59 被阅读0次

逻辑斯谛回归与最大熵模型
逻辑回归为什么用交叉熵损失函数
SKlearn_逻辑回归小练习
Logistic Regression
逻辑斯谛回归与最大熵模型
机器学习day7-逻辑回归问题
ML03-逻辑回归（下部分）
ML02-逻辑回归（上部分）
吴恩达第二次作业代码
逻辑斯谛回归&最大熵模型

(a) 逻辑回归的目标函数

假设我们有训练数据 $D=\{(\mathbf{x}_1,y_1),...,(\mathbf{x}_n,y_n)\}$ , 其中 $(\mathbf{x}_i,y_i)$ 为每一个样本，而且 $\mathbf{x}_i$ 是样本的特征并且 $\mathbf{x}_i\in \mathcal{R}^D$ , $y_i$ 代表样本数据的标签（label）, 取值为 $0$ 或者 $1$ . 在逻辑回归中，模型的参数为 $(\mathbf{w},b)$ 。对于向量，我们一般用粗体来表达。为了后续推导的方便，可以把b融入到参数w中。这是参数 $w$ 就变成 $w=(w_0, w_1, .., w_D)$ ，也就是前面多出了一个项 $w_0$ , 可以看作是b，这时候每一个 $x_i$ 也需要稍作改变可以写成 $x_i = [1, x_i]$ ，前面加了一个1。稍做思考应该能看出为什么可以这么写。

目标函数（objective function）, 也就是我们需要"最小化"的目标（也称之为损失函数或者loss function)，不需要考虑正则。把目标函数表示成最小化的形态，另外把 $\prod_{}^{}$ 转换成 $\log \sum_{}^{}$

$L(w)=-(∑y_i log( h)+∑(1-y_i)log(1-h))$

其中： $h =\frac{1}{1 + e^{- x_i · w}}$
为什么前面有负号？因为极大似然是求似然函数的最大值，我们要加负号和log外壳，转化成求最小值问题。

(b) 求解对w的一阶导数

为了做梯度下降法，我们需要对参数 $w$ 求导， $L(w)$ 对 $w$ 的梯度：
$\frac{\partial L(w)}{\partial w} = \frac{\partial L(w)}{\partial h} · \frac{\partial h}{\partial w}$
$= -∑(\frac{y_i}{h} · \frac{\partial h}{\partial w} + \frac{y_i-1 }{1- h} · \frac{\partial h}{\partial w})$
$= -∑(\frac{\partial h}{\partial w} · (\frac{y_i}{h} · + \frac{y_i-1}{1- h} ))$
因为 sigmoid函数 $h$ 求导 $\frac{\partial h}{\partial w} = x_i · h·(1-h)$ ，所以上式可转化为：
$= -∑(x_i·h(1-h)·(\frac{y_i}{h} + \frac{y_i-1 }{1- h} ) )$
$= -∑(x_i·((1-h)·y_i + h(y_i-1))))$
$=∑ (x_i·(h- y_i ) )$

对于一阶导数而言，这里的w可以指w向量中的某一个元素 $w_j$ , 对某个元素 $w_j$ 求偏导时，其他的 $x_k$ (j!=k) 都在求导的过程中化简掉了。也就是写成如下形式：
$\frac{\partial L(w_j)}{\partial w_j}=∑ (x_{i,j}· (\frac{1}{1 + e^{- x_i · w}}- y_i ) )$
其中， $x_{i,j}$ 表示第i个样本的第j个特征值