线性回归算法简述

作者: LCG22 | 来源:发表于2020-03-02 13:54 被阅读0次

线性回归算法简述
Tensorflow基本模型之线性回归
机器学习算法总结
机器学习系列（十一）——线性回归Linear Regressio
线性回归
回归算法学习
2019-10-29
通俗地说逻辑回归【Logistic regression】算法（
通俗得说线性回归算法（二）线性回归实战
线性回归、岭回归、Lasso回归、ElasticNet回归

假设数据集 D 中共有 m 个样本，每个样本共有 n 个特征，1 个样本标签，则每个样本组成为 $(x_1^i, x_2^i, ..., x_n^i, y_i)$ ， i = 1, 2, ..., m

$\hat{y_i}$ 为第 i 个样本的标签预测值， $Y = (Y_1; Y_2; ...; Y_m)$ 为 m x 1 的行向量， $X = (X_1; X_2; ... ;X_m)$ 为 m x n 的矩阵，而

$X_i = (x_0^i, x_1^i, x_2^i, ..., x_n^i)$ 为 1 x (n + 1) 的列向量，而 $A = (a_0, a_1, a_2, ..., a_n)$ 为 (n + 1) x 1 的行向量

故线性回归目标函数可表示为 $\hat{y_i} = f(x_1^i, x_2^i, ..., x_n^i) = a_0 + a_1x_1^i + a_2x_2^i + ... + a_nx_n^i$

为了方便使用矩阵表示，可假设 $x_0^i = 1$ ，则上式可表示为 $\hat{y_i} = f(x_1^i, x_2^i, ..., x_n^i) = a_0x_0^i + a_1x_1^i + a_2x_2^i + ... + a_nx_n^i$ ，

可进一步简化表示为 $\hat{y_i} = f(x_0^i, x_1^i, x_2^i, ..., x_n^i) = \sum_{j=1}^na_jx_j^i$ ，又可使用矩阵进一步简化为 $\hat{y_i} = f(x_0^i, x_1^i, x_2^i, ..., x_n^i) = X_iA$ ，

故损失函数可定义为：

平方误差：

$loss(A) = \frac{1}{2} \sum_{i=1}^m (y_i - \hat{y_i} )^2 = \frac{1}{2} \sum_{i=1}^m(y_i - X_iA)^w = \frac{1}{2} \sum_{i=1}^m(Y_i - X_iA)^2 = \frac{1}{2} (XA - Y)^T(XA - Y)$

注： $\frac{1}{2}$ 只是为了在求导时，将 2 消去

故对 $loss(A)$ 的 $A$ 求偏导数可得：

$J(A) = (XA - Y)^TX$

而由梯度下降法可得：

$A_{t+1} = A_t - \alpha J(A)X = A_t - \alpha X^T(XA - Y)$

其中 t 表示第 t 步的迭代，而 $\alpha$ 则表示步长

线性回归算法简述
假设数据集 D 中共有 m 个样本，每个样本共有 n 个特征，1 个样本标签，则每个样本组成为， i = 1, 2...
Tensorflow基本模型之线性回归
线性回归简述在这里，我们仅仅讨论单变量的线型回归模型。不对回归算法进行过多的展开。重点放在Tensorflow的...
机器学习算法总结
回归算法线性回归算法：支持向量机&向前逐步回归&惩罚线性回归（岭回归/套索回归/ElasticNet/最小角度...
机器学习系列（十一）——线性回归Linear Regressio
线性回归算法和knn算法不同，线性回归算法主要用于解决回归问题，它同样思想简单，实现容易，而且是许多强大的非线性...
线性回归
线性回归是机器学习算法的入门，通过该算法，管中窥豹，研究该算法的精髓之处。线性回归线性回归的损失函数为最小二乘...
回归算法学习
回归算法是机器学习中的经典算法之一，本文是对学习线性回归和逻辑回归算法进行的总结，线性回归与逻辑回归算法解决的分别...
2019-10-29
Day2 简单线性回归模型机器学习入门--简单线性回归机器学习算法之线性回归算法导入库matplotlib 绘...
通俗地说逻辑回归【Logistic regression】算法（
在说逻辑回归前，还是得提一提他的兄弟，线性回归。在某些地方，逻辑回归算法和线性回归算法是类似的。但它和线性回归最大...
通俗得说线性回归算法（二）线性回归实战
前情提要：通俗得说线性回归算法（一）线性回归初步介绍一.sklearn线性回归详解 1.1 线性回归参数介绍完...
线性回归、岭回归、Lasso回归、ElasticNet回归
1. 线性回归(Linear Regression) 1.1 简述在统计学中，线性回归（Linear Regre...