线性回归

作者: 陈文瑜 | 来源:发表于2019-10-07 15:24 被阅读0次

提出背景

房屋房价预测

面积	房间数	楼层数	价格
2104	5	1	460
1416	3	2	232
1534	3	2	315

术语转换
$x_{ij} 其中i、j表示第i行输入的第j个特征如：x_{23} = 2 是输入特征值$
$j_i 表示第i行输出，是估计值如：j_2 = 232$

矩阵表示

将上房屋特征和房价矩阵化

$\left[\begin{array}{ccc} \theta_1x_{11} + \theta_2x_{12} + \dots + \theta_nx_{1n} \\ \theta_1x_{21} + \theta_2x_{22} + \dots + \theta_nx_{2n} \\ \vdots & \\ \theta_1x_{m1} + \theta_2x_{m2} + \dots + \theta_nx_{mn} \\ \end{array}\right] = \left[\begin{array}{ccc} y_1 \\ y_2 \\ \vdots \\ y_3 \\ \end{array}\right]$

将上式转换为矩阵乘
$\left[\begin{array}{ccc} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \dots & x_{mn} \\ \end{array}\right] \times \left[\begin{array}{ccc} \theta_1 \\ \theta_2 \\ \vdots \\ \theta_n \\ \end{array}\right] = \left[\begin{array}{ccc} y_1 \\ y_2 \\ \vdots \\ y_m \\ \end{array}\right]$

为什么要这么转换呢，因为计算机很擅长于做矩阵运算

给上式加一个截距变成 $y = ax +b$ 这种形式， $b$ 为截距

$\left[\begin{array}{ccc} x_{10} & x_{11} & x_{12} & \dots & x_{1n} \\ x_{20} & x_{21} & x_{22} & \dots & x_{2n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ x_{m0} & x_{m1} & x_{m2} & \dots & x_{mn} \\ \end{array}\right] \times \left[\begin{array}{ccc} \theta_0 \\ \theta_1 \\ \theta_2 \\ \vdots \\ \theta_n \\ \end{array}\right] = \left[\begin{array}{ccc} y_1 \\ y_2 \\ \vdots \\ y_m \\ \end{array}\right]$

上式的截距为 $x_{i0}\theta_0$ 令 $x_{i0}=1$ 截距为 $\theta_0$

我们将上式，表示形为 $f(x) = X\theta^T$
我们的目标是求出 $\theta^T$ 让他更好的去拟合给出的数据

我们是使用损失函数来判断拟合的好坏 ,注意 $x_{ij} \quad j_i 都是给定的已知数$

损失函数定义为
$J(\theta_0,\theta_1,\dots,\theta_n) = \frac 1{2m} \sum _{i=1}^m (h_\theta (x ^{(i)}) -y^{(i)})^2$

这是一个只与 $\theta^T$ 有关的函数，我们的目标，是让这个损失函数最小。
一般情况，上标表示输入的行数，下标表示列的特征值
其中： $h_\theta(x^{(i)}) = x_{i0}\theta_0 + x_{i1}\theta_1 +x_{i2}\theta_2 + \dots +x_{in}\theta_n$