正定矩阵和半正定矩阵

作者: zelda2333 | 来源:发表于2021-08-07 11:59 被阅读0次

基本的定义

正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。

【定义1】给定一个大小为 $n \times n$ 的实对称矩阵 $A$
，若对于任意长度为 $n$ 的非零向量 $x$ ，有 $\boldsymbol{x}^TA\boldsymbol{x}>0$ 恒成立，则矩阵 $A$ 是一个正定矩阵。

【例1】单位矩阵 $I\in\mathbb{R}^{2\times 2}$ 是否是正定矩阵？

解：设向量 $\boldsymbol{x} = \left[ \begin{array}{c} x_1 \\ x_2 \\ \end{array} \right] \in\mathbb{R}^{2}$ 为非零向量，则 $\boldsymbol{x}^TI\boldsymbol{x}=\boldsymbol{x}^T\boldsymbol{x}=x_1^2+x_2^2$
由于 $\boldsymbol{x}\neq \boldsymbol{0}$ ，故 $\boldsymbol{x}^TI\boldsymbol{x}>0$ 恒成立，即单位矩阵 $I\in\mathbb{R}^{2\times 2}$ 是正定矩阵。

【简单证明】对于任意单位矩阵 $I\in\mathbb{R}^{n\times n}$ 而言，给定任意非零向量 $\boldsymbol{x}\in\mathbb{R}^{n}$ ，恒有 $\boldsymbol{x}^TI\boldsymbol{x}=\boldsymbol{x}^T\boldsymbol{x}=x_1^2+x_2^2+\cdots+x_n^2>0$

【例2】实对称矩阵 $A$ = $\left[ \begin{array}{ccc} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \\ \end{array} \right] \in\mathbb{R}^{3\times 3}$ 是否是正定矩阵？

解：设向量 $\boldsymbol{x}=\left[ \begin{array}{c} x_1 \\ x_2 \\ x_3 \\ \end{array} \right] \in\mathbb{R}^{3}$ 为非零向量，则 $\boldsymbol{x}^TA\boldsymbol{x}= \left[\begin{array}{ccc}(2x_1-x_2) & (-x_1+2x_2-x_3) & -x_2+2x_3\end{array}\right] \left[\begin{array}{c}x_1 \\ x_2 \\ x_3 \\ \end{array}\right]=x_1^2+(x_1-x_2)^2+(x_2-x_3)^2+x_3^2>0$
因此，矩阵 $A$ 是正定矩阵。

【定义2】给定一个大小为 $n \times n$ 的实对称矩阵 $A$ ，若对于任意长度为 $n$ 的向量 $x$ ，有 $\boldsymbol{x}^TA\boldsymbol{x}\geq0$ 恒成立，则矩阵 $A$ 是一个半正定矩阵。

从二次函数到正定/半正定矩阵

在初中数学中，我们学习过二次函数 $y=ax^2$ ，该函数的曲线会经过坐标原点，当参数 $a>0$ 时，曲线的“开口”向上，参数 $a<0$ 时，曲线的“开口”向下。

以 $y=2x^2$ 为例，曲线如下：

实际上，我们可以将 $y=\boldsymbol{x}^TA\boldsymbol{x}$ 视作 $y=ax^2$
的多维表达式。
当我们希望 $y=\boldsymbol{x}^TA\boldsymbol{x}\geq0$ 对于任意向量 $x$ 都恒成立，就要求矩阵 $A$ 是一个半正定矩阵，对应于二次函数， $y=ax^2>0,\forall x$
需要使得 $a\geq0$ .
另外，在 $y=ax^2$ 中，我们还知道：若 $a>0$ ，则对于任意 $x\neq 0$ ，有 $y>0$ 恒成立。

这在 $y=\boldsymbol{x}^TA\boldsymbol{x}$ 也有契合之处，当矩阵 $A$ 是正定矩阵时，对于任意 $\boldsymbol{x}\neq \boldsymbol{0}，y>0$ 恒成立。

我们可以记 $M=AX$ ,那么对于正定矩阵有 $X^TAX=X^TM>0$ ，看到这有没有想起cos公式呢？如下：

$cos(\theta)=\frac{a^Tb}{||a||\times ||b||}$

下面的内容是一层一层推进的，所以可能有点绕，请耐心阅读并思考：

所以正定矩阵是个什么意思呢？实际上就是说对于一个向量X,我们希望 X在经过有一个矩阵A的变化后得到的新的向量M和它本身的夹角小于90度。
而小于90度背后的含义是变换后的向量M是沿着原向量X的正方向进行缩放的（即 M投影回原向量时方向不变）。
也就是说：

若给定任意一个正定矩阵 $A\in\mathbb{R}^{n\times n}$ 和一个非零向量 $\boldsymbol{x}\in\mathbb{R}^{n}$ ，则两者相乘得到的向量 $\boldsymbol{y}=A\boldsymbol{x}\in\mathbb{R}^{n}$ 与向量 $x$ 的夹角恒小于 $\frac{\pi}{2}$ . (等价于： $\boldsymbol{x}^TA\boldsymbol{x}>0$ .)

为什么协方差矩阵要是半正定的？

在概率论与数理统计中，协方差矩阵被定义为：

对于任意多元随机变量 $t$ ，协方差矩阵为 $C=\mathbb{E}\left[(\boldsymbol{t}-\bar{\boldsymbol{t}})(\boldsymbol{t}-\bar{\boldsymbol{t}})^T\right]$

现给定任意一个向量 $x$ ，则

$\boldsymbol{x}^TC\boldsymbol{x}=\boldsymbol{x}^T\mathbb{E}\left[(\boldsymbol{t}-\bar{\boldsymbol{t}})(\boldsymbol{t}-\bar{\boldsymbol{t}})^T\right]\boldsymbol{x}$
$=\mathbb{E}\left[\boldsymbol{x}^T(\boldsymbol{t}-\bar{\boldsymbol{t}})(\boldsymbol{t}-\bar{\boldsymbol{t}})^T\boldsymbol{x}\right]$
$=\mathbb{E}(s^2)=\sigma_{s}^2$