正则化(Regularization) 逻辑回归

作者: 东京的雨不会淋湿首尔 | 来源:发表于2019-03-11 10:45 被阅读0次

Regularizing your neural network
正则化逻辑回归（Regularization）
正则化(Regularization) 逻辑回归
公众号-科研私家菜学习记录（4）
正则化(Regularization) 线性回归
从贝叶斯到深度学习及各自优缺点
吴恩达第二次作业代码
名词解释
基于tensorflow的正则化实现
吴恩达机器学习- 正则化

image.png
由于前面讲过了线性回归和正则化，
所以对于逻辑回归：
我们也给代价函数增加一个正则化的表达式，得到代价函数：

J\left( \theta \right)=\frac{1}{m}\sum\limits_{i=1}^{m}{[-{{y}^{(i)}}\log \left( {h_\theta}\left( {{x}^{(i)}} \right) \right)-\left( 1-{{y}^{(i)}} \right)\log \left( 1-{h_\theta}\left( {{x}^{(i)}} \right) \right)]}+\frac{\lambda }{2m}\sum\limits_{j=1}^{n}{\theta _{j}^{2}}

python code：

import numpy as np

def costReg(theta, X, y, learningRate):
    theta = np.matrix(theta)
    X = np.matrix(X)
    y = np.matrix(y)
    first = np.multiply(-y, np.log(sigmoid(X*theta.T)))
    second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))
    reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:theta.shape[1]],2))
    return np.sum(first - second) / (len(X)) + reg

要最小化该代价函数，通过求导，得出梯度下降算法为：
${\theta_0}:={\theta_0}-a\frac{1}{m}\sum\limits_{i=1}^{m}{(({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{0}^{(i)}})$

${\theta_j}:={\theta_j}-a[\frac{1}{m}\sum\limits_{i=1}^{m}{({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left( i \right)}}+\frac{\lambda }{m}{\theta_j}]$

$for$ $j=1,2,...n$

注：看上去同线性回归一样，但是知道 ${h_\theta}\left( x \right)=g\left( {\theta^T}X \right)$ ，所以与线性回归不同。
${\theta_{0}}$ 的更新规则与其他情况不同。
注意：

虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样，但由于两者的 ${h_\theta}\left( x \right)$ 不同所以还是有很大差别。
${\theta_{0}}$ 不参与其中的任何一个正则化。

Regularizing your neural network
Regularization 在逻辑回归中实现L2正则化方法以逻辑回归为例，看正则化是如何生效的。在逻辑回归中，...
正则化逻辑回归（Regularization）
1. 过拟合的问题（The problem of overfitting）正则化可以减轻过拟合问题。欠拟合（un...
正则化(Regularization) 逻辑回归
python code：要最小化该代价函数，通过求导，得出梯度下降算法为：注：看上去同线性回归一样，但是...
公众号-科研私家菜学习记录（4）
岭回归定义：岭回归，又称脊回归、吉洪诺夫正则化（Tikhonov regularization），是对不适定问题...
正则化(Regularization) 线性回归
假设我们的模型是：对于线性回归的求解，我们之前推导了两种学习算法：一种基于梯度下降，一种基于正规方程。正则化线...
从贝叶斯到深度学习及各自优缺点
正则化算法（Regularization Algorithms）回归的拓展，会基于模型复杂性对其进行惩罚，它喜欢...
吴恩达第二次作业代码
输出逻辑回归模型的梯度下降输出正则化逻辑回归输出
名词解释
泛化（generalization）正则化（regularization）：归一化（normalization）：
基于tensorflow的正则化实现
基于tensorflow的正则化实现前置条件什么是正则化(regularization) 如果...
吴恩达机器学习- 正则化
过拟合和欠拟合定义和形态解决方法减少特征值数量正则化正则化惩罚θ系数线性回归正则化逻辑回归正则化