正规方程（Normal Equation）的数学证明

作者: iwuqing | 来源:发表于2019-07-11 20:52 被阅读0次

【机器学习】-Wee2 5. 标准方程不可逆(Optional)
1.4参数的计算分析
正规方程（Normal Equation）的数学证明
【机器学习】-Week2 5. 标准(正规）方程-计算参数的解析
Normal Equation(正规方程)
正规方程 NORMAL EQUATION
正规方程（Normal Equation）
day6
[线性回归] 梯度下降和正规方程法
回归的一些面试问题（持续整理中）

在线性回归（Linear Regression）问题中，我们可以通过梯度下降（Gradient Descent）来求解到最优参数。使用正规方程（Normal Equation）同样可以达到这一目的，正规方程不依靠迭代，可以一次性精准的求解最优参数。此文章证明过程参考自吴恩达斯坦福CSS229课程讲义note1。

1. 代价函数（Cost Function）

代价函数的向量形式

$J(\theta) = \frac{1}{2}(X \theta-\vec{y})^{T}(X \theta-\vec{y})$

$X$ 为输入特征（feature）
$\theta$ 为参数
$y$ 为训练数据真实值

2. 关于矩阵求导的基本公式

源自note1第9页

$\begin{aligned} \nabla_{A} \operatorname{tr} A B &=B^{T} \\ \nabla_{A^{T}} f(A) &=\left(\nabla_{A} f(A)\right)^{T} \\ \nabla_{A} \operatorname{tr} A B A^{T} C &=C A B+C^{T} A B^{T} \\ \nabla_{A}|A| &=|A|\left(A^{-1}\right)^{T} \end{aligned}$

由上式1与3可推导出

$\nabla_{A^{T}} \operatorname{tr} A B A^{T} C=B^{T} A^{T} C^{T}+B A^{T} C$

3. 证明

对代价函数求关于 $\theta$ 的导数

$\nabla_{\theta} J(\theta)=\nabla_{\theta} \frac{1}{2}(X \theta-\vec{y})^{T}(X \theta-\vec{y})$

展开

$\nabla_{\theta} J(\theta) =\frac{1}{2} \nabla_{\theta}\left(\theta^{T} X^{T} X \theta-\theta^{T} X^{T} \vec{y}-\vec{y}^{T} X \theta+\vec{y}^{T} \vec{y}\right)$

由一个实数的迹是它本身，可得

$\nabla_{\theta} J(\theta) =\frac{1}{2} \nabla_{\theta} \operatorname{tr}\left(\theta^{T} X^{T} X \theta-\theta^{T} X^{T} \vec{y}-\vec{y}^{T} X \theta+\vec{y}^{T} \vec{y}\right)$

由于对 $\vec{y}^{T} \vec{y}$ 求关于 $\theta$ 的导数为0，及基本公式1，可得

$\nabla_{\theta} J(\theta) =\frac{1}{2} \nabla_{\theta}\left(\operatorname{tr} \theta^{T} X^{T} X \theta-2 \operatorname{tr} \vec{y}^{T} X \theta\right)$

将 $A^{T}=\theta, B=B^{T}=X^{T} X, C=E$ ，结合基本公式5可得

$\nabla_{\theta} J(\theta) =\frac{1}{2}\left(X^{T} X \theta+X^{T} X \theta-2 X^{T} \vec{y}\right)$

$\nabla_{\theta} J(\theta) = 0$

即可得到正规方程

$X^{T} X \theta=X^{T} \vec{y}$

最后两边左乘 $\left(X^{T} X\right)^{-1}$ 得

$\theta=\left(X^{T} X\right)^{-1} X^{T} \vec{y}$

证明完成

4. 正规方程与梯度下降的对比

梯度下降	正规方程
需要选择超参数a	无超参数选择
多次迭代	一次求解
特征数比较大时，算法无太大影响	特征数大，算法运行时间长

【机器学习】-Wee2 5. 标准方程不可逆(Optional)
Normal Equation Noninvertibility 正规方程 ( normal equation )...
1.4参数的计算分析
正规方程(Normal Equation) 正规方程(Normal Equation)提供了一种可以直接一次性求解...
正规方程（Normal Equation）的数学证明
在线性回归（Linear Regression）问题中，我们可以通过梯度下降（Gradient Descent）来...
【机器学习】-Week2 5. 标准(正规）方程-计算参数的解析
Normal Equation 正规方程 (Normal Equation) 对于某些线性回归问题，提供了一种求...
Normal Equation(正规方程)
在我们接触到梯度下降算法这一个算法时，求代价函数最小值时，通过求导来获得。因此对于代价函数的每个参数，我们分别对于...
正规方程 NORMAL EQUATION
正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：即所有 θj 的偏导数 = 0 在单变量线性回归的...
正规方程（Normal Equation）
针对某些线性回归问题，除了梯度下降算法，有一个更好的方法来求出最优解，就是正规方程（Normal Equation...
day6
正规方程（normal equation）解回归问题对于某些回归问题，用正规方程求解参数θ的最优值（误差函数的...
[线性回归] 梯度下降和正规方程法
批梯度下降法(Gradient Descent)正规方程法(Normal Equation) 总结：如果特征值小...
回归的一些面试问题（持续整理中）
1、线性回归中的正规方程（normal equation）的推导 2、下面回归模型中的哪个步骤/假设最能影响过拟合...