线性代数之——对称矩阵及正定性

作者: seniusen | 来源:发表于2018-11-29 20:29 被阅读117次

线性代数之——对称矩阵及正定性
Css高阶用法(一) matrix
线性代数笔记26
共轭空间和共轭算子
简单函数理解
2019-03-13
高等代数理论基础66：实对称矩阵的标准形
线代-对称矩阵与正交对角化
透析矩阵，由浅入深娓娓道来—高数-线性代数-矩阵
线代概念5---其它

当 $A$ 是对称的时候， $Ax=\lambda x$ 有什么特殊的呢？

1. 对称矩阵的分解

$A = S\Lambda S^{-1}$
$A^T = (S^{-1})^T\Lambda S^{T}$

如果 $A$ 是对称矩阵，也就是 $A=A^T$ 。对比以上两个式子，我们可以得到 $S^{-1}=S^T$ ，也就是 $S^TS=I$ ，特征向量矩阵 $S$ 是正交的。

对称矩阵具有如下的性质：

它们的特征值都是实数；
可以选取出一组标准正交的特征向量。

每个对称矩阵都可以分解为 $A=Q\Lambda Q^{-1}=Q\Lambda Q^T$ ， $\Lambda$ 中为实数的特征值， $S=Q$ 中为标准正交的特征向量。

例 1

$A = \begin{bmatrix} 1&2 \\2&4\end{bmatrix}$

$A-\lambda I = \begin{bmatrix} 1-\lambda&2 \\2&4-\lambda\end{bmatrix}$

$det(A-\lambda I) = (1-\lambda)(4-\lambda)-4=\lambda^2-5\lambda=0$

特征值和特征向量分别为：

$\lambda_1 = 0，x_1 = \begin{bmatrix} 2 \\ -1 \end{bmatrix}$

$\lambda_2 = 5，x_2 = \begin{bmatrix} 1 \\ 2 \end{bmatrix}$

特征向量 $x_1$ 位于零空间，特征向量 $x_2$ 位于列空间。有子空间基本定理可知，零空间正交于行空间，这里 $A$ 是对称矩阵，所以列空间和行空间是一样的，因此两个特征向量是垂直的。而要得到标准正交向量，我们只需再除以它们各自的长度即可。所以有：

$Q\Lambda Q^T=\frac{1}{\sqrt5}\begin{bmatrix} 2&1 \\-1&2\end{bmatrix}\begin{bmatrix} 0&0 \\0&5\end{bmatrix}\frac{1}{\sqrt5}\begin{bmatrix} 2&-1 \\1&2\end{bmatrix} =A$

一个实对称矩阵的所有特征值都是实数。

证明

实数的共轭还是它本身，两个数积的共轭等于共轭的积，即 $\overline{AB}=\bar A \bar B$ 。

$\tag{1}Ax=\lambda x \to \bar A\bar x=\bar \lambda\bar x \to A\bar x=\bar \lambda\bar x$

对 (1) 进行转置可得

$\tag{2}\bar x^TA^T=\bar \lambda\bar x^T \to \bar x^TA=\bar \lambda\bar x^T$

将 $Ax=\lambda x$ 乘以 $\bar x^T$ ，将 (2) 式乘以 $x$ ，可得

$\tag{3}\bar x^T Ax=\lambda \bar x^Tx$

$\tag{4}\bar x^TAx=\bar \lambda \bar x^Tx$

由于右边为向量长度的平方，因此不为零。对比 (3) 、(4) 两式可得 $\bar \lambda= \lambda$ ，所以对称矩阵的特征值一定为实数。

一个实对称矩阵的所有特征向量（对应于不同特征值）是正交的。

证明

假设有 $Ax=\lambda_1 x$ 和 $Ay=\lambda_2 y$ ，并且 $\lambda_1 \not = \lambda_2$ ，那么

$(\lambda_1 x)^Ty = (Ax)^Ty=x^TA^Ty=x^TAy=x^T\lambda_2y$

等式左边为 $x^T\lambda_1y$ ，等式右边为 $x^T\lambda_2y$ ，因为 $\lambda_1 \not = \lambda_2$ ，所以有 $x^Ty=0$ ，也即两个特征向量垂直。

例 2

$A = \begin{bmatrix} a&b \\b&c\end{bmatrix}$

特征向量分别为：

$x_1 = \begin{bmatrix} b \\ \lambda_1-a \end{bmatrix}$

$x_2 = \begin{bmatrix} \lambda_2-c \\ b \end{bmatrix}$

$x_1^Tx_2=b(\lambda_2-c)+b(\lambda_1-a)=b(\lambda_1+\lambda_2-a-c)=0$

两个特征值的和为矩阵的迹，即对角线元素的和。

我们再来看 $2×2$ 矩阵分解后的结果

$A=Q\Lambda Q^T = \begin{bmatrix} \\x_1& x_2 \\ \space \end{bmatrix}\begin{bmatrix} \lambda_1\\ \space & \lambda_2 \end{bmatrix}\begin{bmatrix} \quad x_1^T\quad\\ \quad x_2 \quad \end{bmatrix}$

$A=\lambda_1 x_1x_1^T+\lambda_2 x_2x_2^T$

扩展到 $n$ 维的情况， $A=\sum_i^n\lambda_i x_ix_i^T$ ，其中每一个 $x_ix_i^T$ 都是投影矩阵， $P=\frac{xx^T}{x^Tx}$ ，特征向量的长度为 1，所以分母略去了。也就是说，对称矩阵是其特征向量投影矩阵的线性组合。

2. 实矩阵的复特征向量

$Ax=\lambda x \to \bar A\bar x=\bar \lambda\bar x \to A\bar x=\bar \lambda\bar x$

针对对称矩阵，其特征值和特征向量都是实的。但是，非对称矩阵非常容易得到虚的特征值和特征向量。在这种情况下， $Ax=\lambda x$ 和 $A\bar x=\bar \lambda\bar x$ 是不同的，我们得到了一个新的特征值 $\bar \lambda$ 和新的特征向量 $\bar x$ 。

针对实矩阵，复数的特征值和特征向量总是一对共轭对。

3. 特征值和主元

矩阵的主元和特征值是非常不同的，主元是通过消元得到的，而特征值是通过求解 $det(A-\lambda I)=0$ 得到的。到目前为止，它们唯一的联系就是：所有主元的乘积等于所有特征值的乘积，都等于矩阵的行列式值。

针对对称矩阵，还有一个隐藏的关系：主元的符号和特征值的符号一致，也就是正的主元个数等于正的特征值的个数。

证明

对称矩阵可以被分解为 $A=LDL^T$ 的形式。

当 $L$ 变成 $I$ 的时候， $LDL^T$ 就变成了 $IDI^T$ ，也就是由 $A$ 变成了 $D$ 。 $A$ 的特征值为 4 和 -2， $D$ 的特征值为 1 和 -8。当 $L$ 中左下角的元素从 3 变到 0 的时候， $L$ 就变成了 $I$ 。在这个过程中，如果特征值符号发生改变的话，那肯定会有一个中间时刻，这时候特征值为 0，也就意味着矩阵是奇异的。但是最后的矩阵 $D$ 一直有两个主元，始终是可逆的，从来不可能是奇异的，因此特征值的符号不会发生改变。

特别地，所有的特征值都大于零，也就是所有的主元都大于零，这种情况下，矩阵就称之为是正定的。

4. 重复的特征值

当没有重复特征值的时候，特征向量一定是线性不相关的，这时候矩阵一定可以被对角化。但是一个重复的特征值可能会导致特征向量的缺乏，这有些时候会发生在非对称矩阵上，但是对称矩阵一定会有足够的特征向量来进行对角化。

证明

获取更多精彩，请关注「seniusen」!

线性代数之——对称矩阵及正定性
当是对称的时候，有什么特殊的呢？ 1. 对称矩阵的分解如果是对称矩阵，也就是。对比以上两个式子，我们...
Css高阶用法(一) matrix
矩阵(matrix) 线性代数基础课里就有对矩阵的阐述，大致形式如下矩阵乘法 "点积" 是把对称的元素相乘，然...
线性代数笔记26
对称矩阵及对称性对称矩阵特征值都是实数特征向量都是垂直的（正交的）则通常则对称矩阵可以写为为什么特征值为...
共轭空间和共轭算子
对称是自然界中非常重要的几何性质。线性代数中可以看到对称矩阵有着很好的性质。这一章研究：内积空间（赋范空间）中...
简单函数理解
1.矩阵乘法np.dot()及np.multiply()以及* 同线性代数中矩阵乘法的定义： np.dot()np...
2019-03-13
矩阵的转置则称为A的转置，记为设为矩阵，则为矩阵为对称矩阵，则为反对称矩阵，则为n阶方阵，,为对称矩阵...
高等代数理论基础66：实对称矩阵的标准形
实对称矩阵的标准形对称矩阵的性质引理：设A是实对称矩阵,则A的特征值皆为实数证明：注：对实对称矩阵A,在n...
线代-对称矩阵与正交对角化
对称矩阵：矩阵上的所有元素关于主对角线对称,满足对称矩阵的重要性质对于对称矩阵来说，其特征值一定是实数；尽管...
透析矩阵，由浅入深娓娓道来—高数-线性代数-矩阵
线性代数在科学领域有很多应用的场景，如下：矩阵，是线性代数中涉及的内容，线性代数是用来描述状态和变化的，而矩阵...
线代概念5---其它
实对称矩阵、二次型、正交化、正定实对称矩阵： 1、实对称矩阵一定是可对角化的 2、实对称矩阵的特征值全是实数、特...