全部最小二乘

作者: 寽虎非虫003 | 来源:发表于2023-07-14 18:51 被阅读0次

摘录自《计算机视觉----算法与应用》

[1]Richard Szeliski 著，艾海舟兴军亮译.《计算机视觉----算法与应用》[M]. 北京：清华大学出版社，2012.1：p576-578.

正文

在一些问题（如在2D图像中进行几何曲线拟合活在三维空间中用平面拟合一组数据点云）中，测量误差并不是只在某一个特定的方向上存在，测量得到的点在各个方向是都具有一定的不确定度，这种情况又被成为“变量含误差模型” (* errorsin-variables model * )(Van Huffel and Lemmering 200;Matei and meer 2006)。此时，最小化一组具有如下形式的其次平方误差就会更有意义，
$E_{TLS}=\sum_i (\boldsymbol{a}_i\boldsymbol{x})^2=||\mathbf{A}\boldsymbol{x}||^2 \qquad \qquad \qquad (A.35)$
它被称为“全部最小二乘” (TLS) (Van HUffel and Vandewalle 1991;Bj $\ddot{o}$ rck 1996;Golub and Van Loan 1996;Van Huffel and Lemmerling 2002)。
上面的误差度量函数有一个平凡的最小节 $\boldsymbol{x=0}$ ，他同时对 $\boldsymbol{x}$ 而言也的确是其次的，正因为此，在这一最小化问题中，我们要求 $\boldsymbol{x}$ 必须满足 $||\boldsymbol{x}||^2=1$ 。于是我们得到了下面的特征值问题：
$\boldsymbol{x} = \text{arg} \min_\boldsymbol{x} \boldsymbol{x}^T(\mathbf{A}^T\mathbf{A}), \qquad \text{且} ||\boldsymbol{x}||^2=1. \qquad \qquad \qquad (A.36)$
可以最小化这个约数问题的 $\boldsymbol{x}$ 就是 $\mathbf{A}^T\mathbf{A}$ 最小的特征值对应的特征向量。它和 $\mathbf{A}$ 的最末一个右特征向量是相同的。这是因为
$\mathbf{A=U \Sigma V}^T \qquad \qquad \qquad \qquad (A.37)\\ \mathbf{A}^T\mathbf{A=U \Sigma V}^T \quad\qquad \qquad \qquad (A.38)\\ \mathbf{A}^T\mathbf{A} \boldsymbol{v}_k = \sigma_k^2- \boldsymbol{v}_k \qquad \qquad \qquad (A.39)$
通过选择最小的 $\sigma_k$ 值，我们就可以达到约束这个问题的目的。
最佳的直线方程 $ax+by+c=0$ 可通过最小化下面的函数得到
$E_{TLS-2D} = \sum_i (ax_i+by_i+c)^2, \qquad \qquad \qquad (A.40)$
即找出下面矩阵最小特征值对应的特征向量
$\mathbf{C} = \mathbf{A}^T\mathbf{A}=\sum_i \begin{bmatrix} x_i \\y_i\\ 1 \end{bmatrix} \begin{bmatrix} x_i &y_i& 1 \end{bmatrix} \qquad \qquad \qquad (A.41)$
但要注意，只有 $\boldsymbol{a}_i$ ——类似于上例中的测量结果 $(x_i, y_i, 1)$ ——中所有测量项都具有相同的噪声，最小化(A.35)中的 $\sum_i (a_ix)^2\$ 才得到统计最优的结果。为了满足这个条件，我们首先从所有测量结果中减去 $x$ 和 $y$ 的平均值
$\hat{x}_i=x_i- \overline x \qquad \qquad \qquad (A.42)\\ \hat{y}_i=y_i- \overline y \qquad \qquad \qquad (A.43)\\$
然后通过最小化
$E_{LTS-2Dm} = \sum_i(a\hat{x}+b\hat{y})^2 \qquad \qquad \qquad (A.44)$
来拟合2D直线方程 $a(x-\overline x)+b(y-\overline y)=0$ 。
更一般的情况是每个独立的测量分量中含有噪声的情况各不相同，这种情况被称为“异方差的变量含噪声模型” (heteroscedastic errors-in-variable)。Matei and Meer (2006)对它有详细的讨论。

全部最小二乘

摘录自《计算机视觉----算法与应用》

正文

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读