欢迎加入我的学习小组，跟我一起学习：Q群798406432
一、含义[1]
图片.png
正规方程是通过求解代价函数的导数，导数为0来求得theta的值。
二、推导
图片.png
上面第一个等式是线性回归的代价函数，写成向量化的形式即为第二个等式，向量的转置乘以该向量的含义是求向量中各元素的平方和，即XT * X = x12+x22+...+xn2
对代价函数求导[3]：
图片.png
令导数为0时即为theta最小值
图片.png
三、表现[1]
注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。
梯度下降与正规方程的比较：
| 梯度下降 | 正规方程 |
|---|---|
| 需要选择学习率 | 不需要 |
| 一次运算得出，当特征数量n大时也能较好适用 | 需要计算如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为 ，通常来说当n小于10000 时还是可以接受的 |
| 适用于各种类型的模型 | 只适用于线性模型，不适合逻辑回归模型等其他模型 |
Reference：
[1] 吴恩达机器学习
[2] Linear Regression(线性回归)（二）—正规方程（normal equations）
[3] 机器学习_正规方程（最小二乘法）的推导
网友评论