多变量线性回归问题

作者: 爱吃鱼的夏侯莲子 | 来源:发表于2020-01-21 21:39 被阅读0次

[线性回归] 多特征线性回归
基于pytorch的linear Regression
线性回归
Logistic模型的基本概念
（16）多重线性回归分析
机器学习A-Z～简单线性回归
10. 线性回归
logistics回归分类
用岭回归和LASSO糖尿病治疗效果好坏
多变量线性回归问题

房价的例子，当只有一个特征变量时，线性回归的预测函数：
$h_\theta(x) = \theta_0 + \theta_1x$

现在有了多个特征变量：

尺寸 $x_1$	房间数 $x_2$	房屋年份 $x_3$	价格 $y$
2104	5	45	460
1416	3	40	232
1534	3	30	315
852	2	36	178
...	...	...	...

上面的图表展示了多个和房屋价格相关的变量。

下面定义一些变量

m = 训练数据集数量
n = 特征变量数
$x^{(i)}$ = 第 i 个训练样本
$x_j^{(i)}$ = 第 i 个训练样本的第 j 个特征变量

上面的表格中
$m=4$
$n=3$
$x^{(2)}=\left[ \begin{matrix} 1416 \\\ 3 \\\ 40 \\\ \cdots \end{matrix} \right]$
$x_3^{(2)}=40$

在多变量条件下，预测函数为
$h_\theta(x)= \theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$

为了方便，我们自定义一个变量 $x_0=1$

预测函数即为：
$h_\theta(x)= \theta_0x_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$

用向量的方式定义 $x$ 和 $\theta$

$x=\left[ \begin{matrix} x_0 \\\ x_1 \\\ x_2 \\\ \cdots \\\ x_n \end{matrix} \right], \theta=\left[ \begin{matrix} \theta_0 \\\ \theta_1 \\\ \theta_2 \\\ \cdots \\\ \theta_n \end{matrix} \right]$

用向量的方式表示预测函数：

$h_\theta(x) = \left[ \begin{matrix} \theta_0 & \theta_1 & \cdots & \theta_n \end{matrix} \right] \left[ \begin{matrix} x_0 \\\ x_1 \\\ \cdots \\\ x_n \end{matrix} \right] = \theta^Tx$

用梯度算法来解决这个问题。

重复直到 $J(\theta)$ 收敛 {
$\theta_j:=\theta_j - \alpha \frac{1}{m} \sum_{i=0}^m((h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}), j \epsilon \left(0, 1, 2,...,n\right)$
}

比如说：
$\theta_0:=\theta_0 - \alpha \frac{1}{m} \sum_{i=0}^m((h_\theta(x^{(i)})-y^{(i)})x_0^{(i)})$ ,
$\theta_1:=\theta_1 - \alpha \frac{1}{m} \sum_{i=0}^m((h_\theta(x^{(i)})-y^{(i)})x_1^{(i)})$ ,
$\theta_2:=\theta_2 - \alpha \frac{1}{m} \sum_{i=0}^m((h_\theta(x^{(i)})-y^{(i)})x_2^{(i)})$ ,
$...$

重复上面的下降知道代价函数收敛。这就是梯度下降的算法过程。

转载自：
https://codeeper.com/2020/01/03/tech/machine_learning/multiple_features_for_linear_regression.html

[线性回归] 多特征线性回归
1 多特征线性回归有多个变量的线性回归也叫做多变量线形回归(multivariate linear regres...
基于pytorch的linear Regression
线性回归模型线性回归是分析一个变量与另外一(多)个变量之间关系的方法。因变量是 y，自变量是 x，关系线性：任务...
线性回归
单变量线性回归多变量线性回归局限性梯度下降法优点缺点单变量线性回归模型线性回归假设数据集中每个yi和...
Logistic模型的基本概念
1.线性回归发展而来：线性回归研究的是连续因变量与自变量之间的关系但有些问题是分类因变量，研究分类因变量与一组...
（16）多重线性回归分析
一、多重线性回归分析简介简单线性回归分析：自变量X =1 个多重线性回归分析：自变量X >=2 个多元线性回...
机器学习A-Z～简单线性回归
所谓简单线性回归，其实就是自变量只有一个条件情况下的线性回归问题，是线性回归问题中最简单的一种了，这种问题在生活中...
10. 线性回归
回归算法-线性回归分析线性回归定义：线性回归通过一个或多个自变量与因变量之间进行建模的回归分析，其中可以为一个或...
logistics回归分类
logistics回归分类模型和线性模型的关系非常密切；区分下线性回归模型和线性模型；线性模型：自变量和因变量之间...
用岭回归和LASSO糖尿病治疗效果好坏
岭回归和LASSO排除多重共线性和变量选择，是回归中重要的两个问题，排除共线性归根到底是变量选择的问题。筛选出重要...
多变量线性回归问题
房价的例子，当只有一个特征变量时，线性回归的预测函数：现在有了多个特征变量：尺寸房间数房屋年份价格210454...