2.吴恩达机器——线性回归

作者: fmzpfly | 来源:发表于2020-02-16 22:30 被阅读0次

2.吴恩达机器——线性回归
2 逻辑回归
深度之眼吴恩达机器学习百度网盘分享
吴恩达机器学习：线性回归
线性回归（吴恩达机器学习）
吴恩达-机器学习百度网盘分享
吴恩达deep_learning_week2_logistic回
线性回归&逻辑回归&正则化
吴恩达机器学习笔记-多元线性回归
单变量线性回归

模型表示-线性回归

m：训练样本集大小, size of Training Set

x's：输入/特征

y's：输出

(xi，yi)对应一个训练样本i

我们需要一个算法algorithm，根据Training Set，

Hypothesis

$h_{\theta } (x)=\theta _{0} +\theta _{1}x$

Parameters

$\theta_{0}, \theta_{1}$

Cost function

$J(\theta )=\frac{1}{2m} \ast \sum\nolimits_{1}^m[h_{\theta } (x)_{i} -y_{i} ]^2$

平方误差函数，解决回归问题的最常用手段

Goal

minimize cost function

Approach

Gradient Descent 梯度下降法

repeat until convergence {

$\theta_j := \theta_j - \alpha \frac{∂}{∂\theta_j} J(\theta_0,\theta_1)$

}

要同时更新 $\theta_0$ , $\theta_1$

$\alpha$ 是学习速率 Learning Rate

$\alpha$ 太小会导致梯度下降很慢，太大则可能越过局部最小值点，甚至无法收敛

如果函数的导数在其局部最小值处连续，则下降的step也会随着的斜率的变化而不断减小，最终，梯度下降法能够自动收敛到最近的局部最小值点，而不必调小 $\alpha$

Multiple Feature Linear Regression

repeat until convergence {

$\theta_j := \theta_j - \alpha \frac{∂}{∂\theta_j} J(\theta_0,\theta_1)$ ，其中 $\frac{∂}{∂\theta_j} J(\theta_0,\theta_1)=\frac{1}{m}\sum_{i=1}^m(h_{\theta} (x^i)-y^i)x^i_{j}$

}

Feature Scaling：特征缩放

多特征的线性回归中，如果多个输入矩阵的每个维度的取值范围差距太大，譬如 $-1\leq x_{1} \leq 1$ ，而 $-100\leq x_{2} \leq 100$ ，这样会导致梯度下降过程中在 $x_{1}$ 方向上来回摇摆，即梯度下降太慢。可以用 $u_{2} = \frac{x_{2}}{100}$ 代替 $x_{2}$

Mean normalization：值归一化

$x_{i} = \frac{(x_{i}-\mu _{i})}{s_{i}}$ ，其中 $\mu _{i}$ 是 $x_{i}$ 的平均值， $s_{i} =max(x_{i} ) - min(x_{i} )$

Learning Rate

2.吴恩达机器——线性回归
模型表示-线性回归 m：训练样本集大小, size of Training Set x's：输入/特征 y's：输...
2 逻辑回归
逻辑回归是线性回归的变形，看了很多机器学习书籍，吴恩达的课程对线性回归和逻辑回归的讲解非常清晰，原理性和推导都很好...
深度之眼吴恩达机器学习百度网盘分享
教学大纲【第一阶段】学习吴恩达机器学习原版视频： 1.了解机器学习基本概念 2.学习单变量线性回归，体验最基本...
吴恩达机器学习：线性回归
首先说一些关于课程的题外话。对于 Ng 的这个课程，笔者没有选择在 Coursera 上学习课程，一来是因为 Co...
线性回归（吴恩达机器学习）
回归是机器学习中最经典的算法，它的意思就是根据之前的数据找出某种规律（可以是线性，也可以是非线性），构建模型实现预...
吴恩达-机器学习百度网盘分享
【第一阶段】学习吴恩达机器学习原版视频：1.了解机器学习基本概念2.学习单变量线性回归，体验最基本模型的魅力3....
吴恩达deep_learning_week2_logistic回
吴恩达deep_learning_week2_logistic回归标签：机器学习深度学习这是吴恩达深度学习里...
线性回归&逻辑回归&正则化
本文为《吴恩达机器学习》课程笔记线性回归代价函数 Cost Fuction 它的目标是: 选择出可以使得建模误...
吴恩达机器学习笔记-多元线性回归
之前的文章中已经讲述了简单的一元线性回归的基础知识，现在我们来继续讨论多元线性回归。本文针对吴恩达机器学习第二周课...
单变量线性回归
最近在看吴恩达的机器学习，做个笔记总结总结。方便自己复习吧。主要是学习了梯度下降算法和线性回归算法...