正规方程法
梯度下降法使用迭代找出θ的值,也可以使用数学方法-正规方程法直接计算出θ的值。
![](https://img.haomeiwen.com/i1723710/9c6cc8dee7a177ff.png)
XT表示矩阵X的转置矩阵;
(XTX)-1表示(XTX)计算结果的逆矩阵。
使用正规方程法时不需要进行特征缩放。
下面是梯度下降法与法向方程的比较:
梯度下降法 | 正规方程法 |
---|---|
需要选择学习速率α | 不需要选择学习速率α |
需要多次迭代 | 不需要迭代 |
性能为O (kn2) | O (n3), need to calculate inverse of XTX |
当n(特征量)很大值,也可以很好的工作 | 当n(特征量)很大时计算很慢 |
在实践中,当n超过10,000时,应该考虑使用梯度下降法。
正规方程法的不可逆
当XTX的结果不可逆时,就是说使用正规方程法不可逆。
在octave中,应该使用pinv而不是inv求解逆矩阵,pinv在XTX不可逆时也会给出θ值。
当XTX的不可逆时,解决问题的方法包括删除与另一个特性线性相关的特性,或者删除一个或多个特性(当特性太多时)。
网友评论