2.9-2.10 logistic回归中的梯度下降法：

课件： [神经网络基础 2.9 logistic回归中的梯度下降法](链接: https://pan.baidu.com/s/1T9hzUQLfYzPwDvXObqxkTQ 提取码: xe68 )
首先，回顾一下logistic回归的公式： $z=w^{T}x+b$ $\widehat{y}=a=\sigma(z)$ $L(a,y)=-(ylog(a)+(1-y)log(1-a))$

LR.jpg
在logistic回归中，我们需要做的是变换参数w和b的值，来使得损失函数最小。首先我们需要计算偏导数，上图是一个简洁版的流程图。根据“链式法则”，我们可以知道 (其中，且 )
同理，我们可以得到，。之后，我们就可以根据梯度下降法来更新,,: 其中，是学习率。

$\color{red}{m个样本的 logistic回归中的梯度下降法}$

对于m个样本，迭代流程为：
初始化： $J=0$ ; $dw_{1}=0$ ; $dw_{2}=0$ ; $db=0$
for $i=1$ 到 m：
$z^{(i)}=w^Tx^{(i)}+b$
$a^{(i)}=\sigma(z^{(i)})$
$J=-[y^{(i)}loga^{(i)}+(1-y^{(i)})log(1-a^{(i)})]$
$dz^{(i)}=a^{(i)}-y^{(i)}$
$dw_{1}+=x_{1}^{(i)}-dz^{(i)}$
$dw_{2}+=x_{2}^{(i)}-dz^{(i)}$
....
$db+=dz^{(i)}$
$J/=m$
$dw_{1}/=m$ ; $dw_{2}/=m$ ; $db/=m$
$w_{1}=w_{1}-\alpha dw_{1}$
$w_{2}=w_{2}-\alpha dw_{2}$
$b=b-\alpha db$

2.11-2.14 向量化logistic回归及其中的梯度下降：

课件： [神经网络基础 2.11-2.14 向量化logistic回归及其中的梯度下降](链接: https://pan.baidu.com/s/1kPJhpndI8sJTve8mtuRXcg 提取码: c4nz )

对于式子 $z=w^{T}x + b$ , 在python或者numpy中，命令为z=np.dot(w,x)+b
经验法则是：Whenever possible，avoid explicit for-loops.
还有其他的一些例子:u=np.exp(v),np.log(v),np.abs(v),np.maximum,1/v,.....

$\color{red}{向量化的 logistic回归中的梯度下降法}$

对于m个样本，迭代流程为：
初始化： $J=0$ ; $dw_{1}=0$ ; $dw_{2}=0$ ; $db=0$
$Z=w^TX+b$ np.dot(w.T,X)+b
$A=\sigma(Z)$
$dZ=A-Y$
$dW=\frac{1}{w}XdZ^{T}$
$db=\frac{1}{w}np.sum(dz)$
$w=w-\alpha dw$
$b=b-\alpha db$