逻辑回归及梯度下降

作者: lilicat | 来源:发表于2019-01-23 14:04 被阅读0次

逻辑回归及梯度下降
吴恩达第二次作业代码
逻辑回归及梯度下降（代码）
2019-01-29 随机梯度下降(stochastic gra
线型回归、逻辑回归和神经网络的区别
ML03-逻辑回归（下部分）
ML02-逻辑回归（上部分）
吴恩达深度学习笔记（12）-计算图计算梯度下降
梯度下降求解逻辑回归
梯度下降求解逻辑回归

重点

1 功能

2 算法过程

功能

logistic regression适用于做二分类任务，并给出相应概率。

例如：

1 区分是否是垃圾邮件

2 银行判断是否给用户办理信用卡

算法过程

灵感过程

1 二分类标签（0/1）

2 可以使用简单的单位阶跃函数(红线)

$y=\left\{\begin{aligned}0 \ \ \ z<0 \\0.5 \ \ \ z=0 \\1 \ \ \ z>0\end{aligned}\right.$

3 但是阶跃函数不连续，因此使用logistic function (上图中黑线，因为呈现S形，因此也称为sigmoid function)代替，使其连续可导。

$y = \frac{1}{1+e^{-z}}$

横坐标是z,纵坐标是y.定义域为（正无穷到负无穷）。值域为（0到1，可对应概率值0到1）

核心问题

求解：

$z = XW = w_0+w_1x_1+w_2x_2+...$

$h_{model} = \frac{1}{1+e^{-z}}$

损失函数推导及定义

1 当label(即y)=1时，

$cost = -log(h)$

2 当label(即y)=0时，

$cost = -log(1-h)$

抽象出来：

$cost = -ylog(h)-(1-y)log(1-h)$

求最优决策边界

即求解最优的线

$z = w_0+w_1x_1+w_2x_2+... = [1, x_1,x_2,...][1, x_1,x_2,...]^T$

Z = XW,其中X维度（10，3），假设有10组数据，Z维度（10.1），W维度（3，1）

$h_{model} = \frac{1}{1+e^{-z}}$

$H = \frac{1}{1+e^{-XW}}$

H维度（10，1）.

**h对z求导**

$\frac{\partial h}{\partial z}= \frac{-e^{-z}*-1}{(1+e^{-z})^2} = \frac{1+e^{-z}-1}{(1+e^{-z})^2} =\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}}) = h(1-h)$

h对z求导之后维度（10，1）

损失函数 cost fuction

$H = -Y*log(H)-(1-Y)log(1-H)$

cost维度为（10，1）

其中:

$cost\sim h \sim z \sim WX$

$\frac{ \partial cost}{\partial W} = \frac{ \partial cost}{\partial H} *\frac{ \partial H}{\partial Z} *\frac{ \partial z}{\partial W} = X^T*\{(-\frac{Y}{H} +\frac{1-Y}{1-H})*H)(1-H)\}=X^T*\{(-Y+YH+H-HY) \} =X^T(H-Y)$

使用梯度下降法求最优W

1 初始化W

2 更新

$W:=W-\alpha * \frac{ \partial cost}{\partial W}$

3 迭代到一定次数或到一定阈值

逻辑回归及梯度下降
重点 1 功能 2 算法过程功能 logistic regression适用于做二分类任务，并给出相应概率。例...
吴恩达第二次作业代码
输出逻辑回归模型的梯度下降输出正则化逻辑回归输出
逻辑回归及梯度下降（代码）
重点 1 W 计算2 动画显示（jupyter notebook）3 数据读取4 例子数据 W迭代计算动画显示 ...
2019-01-29 随机梯度下降(stochastic gra
随机梯度下降的思想也可以应用于线性回归、逻辑回归、神经网络或者其他依靠梯度下降来进行训练的算法中。梯度下降法的问...
线型回归、逻辑回归和神经网络的区别
一、线型回归（Linear regression）二、梯度下降（Gradient descent) 三、逻辑回归...
ML03-逻辑回归（下部分）
本文主题-逻辑回归（下部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...
ML02-逻辑回归（上部分）
本文主题-逻辑回归（上部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...
吴恩达深度学习笔记（12）-计算图计算梯度下降
逻辑回归中的梯度下降（Logistic Regression Gradient Descent）本节我们讨论怎样...
梯度下降求解逻辑回归
需要数据集可以私信我为了便于展示结果，省去繁琐的复制粘贴，采用notebook截屏的方式，带来不便还请谅解。
梯度下降求解逻辑回归
我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每...

逻辑回归及梯度下降

重点

功能