正规方程（区别于迭代算法的直接解法）

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：

image.png

假设我们的训练集特征矩阵为 X（包含了x0 = 1 ）并且我们的训练集结果为向量 y

则利用正规方程解出向量 image.png （此公式可经过数学推导）

举例：

image.png

手动添加x0 向量

image.png
image.png

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

image.png