矩阵分析 (四)向量和矩阵的范数

作者: 小小何先生 | 来源:发表于2020-01-15 20:30 被阅读0次

矩阵分析 (四)向量和矩阵的范数
译介绍机器学习中的向量范数
向量范数和矩阵范数
算子范数为什么是矩阵范数
李沐-动手学深度学习（三）线性代数
范数
常见向量范数和矩阵范数
范数与距离度量（python实现）
创业的知行矩阵
Frobenius norm(Frobenius 范数)

我们曾经用内积定义了向量空间中一个元素的长度，它是几何长度的推广，利用这个长度的概念我们可以讨论极限、逼近的问题。在分析解决这些问题时最重要的是利用了长度的基本性质、非负性、齐次性和三角表达式。

向量的范数

范数的定义

定义4.1：若对任意的 $x \in C^{n}$ 都有一个实数 $||x||$ 与之对应，且满足：

非负性： $x \neq 0$ 时， $||x||>0$ ，当 $x=0$ 时， $||x||=0$ ;
齐次性：对任意的 $k \in C$ ， $||kx||=|k| \cdot ||x||$ ；
三角不等式：对任意的 $x$ ， $y$ $\in C^{n}$ 都有：

$||x+y|| \leq ||x|| + ||y||$

则称 $||x||$ 为 $C^{n}$ 上的向量范数，简称向量范数。

几种常见的范数

2范数

设：

$x=(x_{1},x_{2}, \cdots, x_{n})^{T} \in C^{n}$

规定：

$||x||_{2} = \sqrt{\sum_{i=1}^{n}|x_{i}|^{2}}$

很容易证明这是范数，叫作向量的2范数。2范数在酉变换下不变。

1范数

设：

$x \in C^{n}$

规定：

$||x||_{1} = \sum_{i=1}^{n}|x_{i}|$

则 $||x||_{1}$ 是范数，叫做向量的1范数。

向量的 $\infty$ 范数

设：

$x \in C^{n}$

规定：

$||x||_{\infty} = max_{i}|x_{i}|$

则 $||x||_{\infty}$ 是范数，叫做向量的 $\infty$ 范数。

向量的 $p$ 范数

设 $x \in R^{n}$ ，规定，

$||x||_{p} = (\sum |x_{i}|^{p})^{\frac{1}{p}}$

则 $||x||_{p}$ 也是范数，叫做向量的 $p$ 范数。

其它：

规定：

$||f||=max|f(x)|$

则 $||f||$ 是函数的范数

在连续函数的空间中，规定：

$||f(x)|| = \int_{a}^{b} |f(x)|dx$

则 $||f||$ 也是范数。

生成范数

在一个向量空间之中可以构造无穷多种范数，前面所述只是最常用的范数。下面给出从已知范数构造新的向量范数的方法。

例4 设：

$x=(x_{1},x_{2}, \cdots, x_{n})^{T} \in C^{n}$

规定

$||x||=a||x||_{1} + b||x||_{2} \ \ \ (a,b > 0)$

则 $||x||$ 是范数。

例5 设 $A \in C_{n}^{m \times n}$ ， $|| \cdot ||_{a}$ 是 $C^{m}$ 上的一种范数，对于任意的 $x \in C^{n}$ ，规定 $||x||=||Ax||_{a}$ ，则 $||x||$ 是 $C^{n}$ 上的范数。

由于矩阵 $A$ 可以有无穷多，所以用这种方法可以构造无穷多种范数。

范数的等价

定义4.2：给定 $C^{n}$ 上的向量序列 $\{x^{k}\}$ ，其中

$x^{k}=(x_{1}^{k}，x_{2}^{k}，\cdots ,x_{n}^{k}) \ \ \ (k=1,2,\cdots)$

如果：

$lim_{\infty} x_{i}^{k} = x_{i}$

则称 $\{x^{k}\}$ 收敛，记作：

$lim_{k \rightarrow \infty} x^{k} = x$

不收敛的序列叫作发散序列。

定理4.1 $C^{n}$ 中的向量序列 $\{x^{k}\}$ 收敛于 $x$ 的充分必要条件是，对于 $C^{n}$ 上的范数 $||\cdot||_{\infty}$ ，

$lim_{\infty}||x^{k}-x||_{\infty} = 0$

收敛是向量序列的性质，这种性质不应该受到度量方式的影响，也就是一个向量序列在一种范数的意义下收敛，那么它在另一种范数的意义下也应该收敛。一个空间中的序列在一种范数下收敛，那么它在另一种范数下也是收敛的。

定义4.3 设 $||x||_{a}$ 和 $||x||_{b}$ 是 $C^{n}$ 上的两种向量范数，如果存在正数 $k$ 和 $l$ 使得对于任意的 $x$ 都有：

$k||x||_{b} \leq ||x||_{a} \leq l ||x||_{b}$

则称向量范数 $||x||_{a}$ 和 $||x||_{b}$ 等价。

定理4.2： $C^{n}$ 空间上所有范数等价。

即若 $\{x^{k}\}$ 在 $||\cdot||_{\infty}$ 意义下收敛，则 $\{x^{k}\}$ 在 $||x||$ 意义下也收敛。向量序列的收敛不受范数选择影响。

同一个向量在不同的范数下长度一般不同，如：

$x=(1,1,\cdots ,1) \in C^{n}$

则：

$||x||_{2} = \sqrt{n}，||x||_{1} = n , \ ||x||_{\infty}=1$

相差很大，但是在讨论收敛时，效果也是一样的，但是要注意，这里讨论的是有限维的空间，无穷维空间可以不等价。

矩阵的范数

由于一个 $m \times n$ 矩阵可以看作 $m \times n$ 维向量，因此可以按照定义向量范数的方法来定义矩阵范数，但是矩阵之间还有矩阵的乘法，在研究矩阵范数时应该给予考虑。

方阵的范数

定义4.4 ：若对于任意的 $A \in C^{n \times n}$ 都有一个实数 $||A||$ 与之对应，且满足：

非负性： $A \neq O$ ， $||A|| >0$ ； $A=O$ ， $||A||=0$ ；
齐次性：对任意的 $k \in C$ :

$||kA||=|k|\ ||A||$

三角不等式：对任意的 $A，B \in C^{n \times n}$ ，

$||A+B|| \leq ||A|| +||B||$

相容性：对任意的 $A，B \in C^{n \times n}$ 都有 $||AB|| \leq ||A|| \cdot ||B||$

则称 $||A||$ 为 $C^{n \times n}$ 上矩阵的范数，简称矩阵范数。

由于定义中的前三条与向量范数一致，因此矩阵范数有与向量范数有类似的性质，如：

$||-A|| = ||A||，| \ \ || A|| -||B|| \ \ | \leq ||A-B||$

以及 $C^{n \times n}$ 上的两个矩阵范数等价。

常用的范数

矩阵 $m_{1}$ 范数：

与 $||x||_{1}$ 相仿，设 $A=(a_{ij})_{n \times n} \in C^{n \times n}$ ，规定：

$||A||_{m_{1}} = \sum_{i,j} |a_{ij}|$

则 $||A||_{m_{1}}$ 是 $C^{n \times n}$ 上的矩阵范数，称为 $m_{1}$ 范数。

矩阵 $F$ 范数：

与 $||x||_{2}$ 相仿，对于 $A=(a_{ij})_{n \times n}$ ，规定：

$||A||_{F} = \sqrt{\sum_{i,j}|a_{ij}|^{2}}=\sqrt{tr(A^{H}A)}$

则 $||A||_{F}$ 是 $C^{n \times n}$ 上的一种矩阵范数，称为矩阵的Frobenius范数，简称 $F$ 范数。

矩阵的 $\infty$ 范数：

设 $A=(a_{ij})_{n \times n}$ ，规定：

$||A||_{m_{\infty}} = n \cdot max_{i,j} |a_{ij}|$

则 $||A||_{m_{\infty}}$ 是 $C^{n \times n}$ 上的矩阵范数。

与向量范数的相容性

定义4.5：设 $||\cdot||_{m}$ 是 $C^{n \times n}$ 上的矩阵范数， $||\cdot||_{v}$ 是 $C^{n}$ 上的向量范数，对任意的 $A \in C^{n\times n}$ ， $x \in C^{n}$ ，都有：

$||AX||_{v} \leq ||A||_{m}||x||_{v}$

则称矩阵范数 $||\cdot||_{m}$ 与向量范数 $||\cdot||_{v}$ 是相容的。

$C^{n \times n}$ 上的 $m_{1}$ 范数与 $C^{n}$ 上的1范数相容。
$C^{n \times n}$ 上的 $F$ 范数与 $C^{n}$ 上的2范数相容。

用矩阵范数来定义向量范数

设 $||\cdot||$ 是 $C^{n \times n}$ 上的一种矩阵范数，则在 $C^{n}$ 上可以定义一种向量范数。以二维空间为例，如设 $x \in C^{2}$ ，取 $\alpha=(\alpha_{1}，\alpha_{2})^{T} \neq 0$ ,设 $||\cdot||_{m_{1}}$ 是 $C^{2 \times 2}$ 中的范数，任取：

$A=(a_{ij})_{2 \times 2} \in C^{2 \times 2}$

则：

$||A||_{m_{1}} = |a_{11}|+|a_{12}|+|a_{21}|+|a_{22}|$

现在任取：

$x \in C^{2}，x =(x_{1},x_{2})^{T}$

则：

$x \alpha^{H}=\left(\begin{array}{l} {x_{1}} \\ {x_{2}} \end{array}\right)\left(\bar{\alpha}_{1} \quad \bar{\alpha}_{2}\right)=\left(\begin{array}{ll} {x_{1} \bar{\alpha}_{1}} & {x_{1} \bar{\alpha}_{2}} \\ {x_{2} \bar{\alpha}_{1}} & {x_{2} \bar{\alpha}_{2}} \end{array}\right)$

是 $C^{2 \times 2}$ 的矩阵。规定：

$\|x\|=\left\|x \alpha^{\mathrm{H}}\right\|_{m_{1}}=\left|x_{1} \bar{\alpha}_{1}\right|+\left|x_{1} \bar{\alpha}_{2}\right|+\left|x_{2} \bar{\alpha}_{1}\right|+\left|x_{2} \bar{\alpha}_{2}\right|$

则在 $C^{2}$ 中定义了一种运算。

如取：

$\alpha = (1,2)^{T}，x=(1,1)^{T}$

则：

$\|x\|=\left\|x \alpha^{H}\right\|_{m_{1}}=\left\|\left(\begin{array}{l} {1} \\ {1} \end{array}\right)(1,2)\right\|_{m_{1}}=6$

取：

$\alpha = (1,i)^{T},x=(1,1)$

则：

$||x||=||x \alpha^{H}||_{m_{1}}=4$

定理4.3：设 $||\cdot||$ 是 $C^{n \times n}$ 上的一种范数，则在 $C^{n}$ 上必存在与它相容的向量范数。

从属范数

前面介绍了由矩阵范数定义向量范数的方法，接下来将要介绍由向量范数来定义矩阵范数的方法。

我们知道，单位矩阵在矩阵的乘法中的作用类似于1在乘法中的作用。但是对于已经知道的矩阵范数，如 $m_{1}$ ， $F$ ， $m_{\infty}$ 范数， $n$ 阶单位矩阵 $E$ 的范数。

$||E||_{m_{1}} = n，||E||_{F} = \sqrt{n}，||E||_{m \infty} = n$

能否构造出使得 $||E||=1$ 的范数呢？

定理4.4：已知 $C^{n}$ 上的向量范数 $||\cdot||_{v}$ ，对于任意的 $A \in C^{n \times n}$ ，规定：

$||A|| = max_{x \neq 0} \frac{||Ax||_{v}}{||x||_{v}}$

则 $||A||$ 是 $C^{n \times n}$ 上的矩阵范数，称为由向量范数 $||\cdot||_{v}$ 导出的矩阵范数，简称导出范数或者从属范数。

从属范数的计算

从属范数的计算是求多元函数的最大值，计算并不容易，我们只就向量的1，2， $\infty$ 导出的矩阵范数分别是 $||A||_{1}$ ， $||A||_{2}$ ， $||A||_{\infty}$ ，则：

$||A||_{1} = max_{j} \sum_{i=1}^{n} |a_{ij}|$ 。
$||A||_{\infty} = max_{i} \sum_{j=1}^{n}|a_{ij}|$ 。
$||A||_{2} = \sqrt{\lambda_{1}}$ ， $\lambda_{1}$ 为 $A^{H}A$ 的最大特征值。

$||A||_{1}$ 是矩阵 $A$ 的元素取模，然后把每一列元素加起来，取这些列和的最大值。而 $||A||_{\infty}$ 是把每行的模加起来，然后取最大值。

范数的应用举例

定义4.6：设 $A \infty C^{n \times n}$ ， $\lambda_{1},\lambda_{2},\cdots,\lambda_{n}$ 是 $A$ 的 $n$ 个特征值，称 $\rho(A) = max_{i}|\lambda_{i}|$ 为 $A$ 的谱半径，即 $A$ 的谱半径是 $A$ 的特征值模的最大值。
定理4.6：设 $A \in C^{n \times n}$ ，则对 $C^{n \times n}$ 上的任何一个矩阵范数 $||\cdot||_{m}$ ，都有：

$\rho(A) \leq ||A||_{m}$

定理4.7：设 $A \in C^{n \times n}$ ，任取一个正数，都可以找到一个矩阵范数 $||\cdot||$ ，使得：

$||A|| \leq \rho(A) + \varepsilon$

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！

矩阵分析 (四)向量和矩阵的范数
我们曾经用内积定义了向量空间中一个元素的长度，它是几何长度的推广，利用这个长度的概念我们可以讨论极限、逼近的问...
译介绍机器学习中的向量范数
译介绍机器学习中的向量范数原文地址向量范数向量和矩阵运算中常常依赖向量的大小和长度的计算。向量的长度称为...
向量范数和矩阵范数
线性代数中最有用的一些运算符是范数（norm）。非正式地说，一个向量的范数告诉我们一个向量有多大。这里考虑的大小...
算子范数为什么是矩阵范数
矩阵范数要满足四条性质：（正定性），（齐次性）（三角不等式）（相容性）矩阵的算子范数是根据某一个向量范数...
李沐-动手学深度学习（三）线性代数
标量的长度就是其绝对值。向量：矩阵：对于矩阵，一般用F范数（因为矩阵范数算起来比较麻烦）一个矩阵是正定的，...
范数
范数，是用来衡量向量，矩阵的大小的。下面介绍一下常用的范数：向量的范数 L1范数：其实就是向量每一维数的绝对...
常见向量范数和矩阵范数
1、向量范数1-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，ma...
范数与距离度量（python实现）
范数 norm则表示范数，函数参数如下： ①x: 表示矩阵（也可以是一维） ②ord：范数类型向量的范数： ...
创业的知行矩阵
创业是一个矩阵，这个矩阵有无限多的维度，每个人都有自己独特的矩阵维度、范数、特征值、向量。创业者的矩阵和其他创业...
Frobenius norm(Frobenius 范数)
Frobenius 范数，简称F-范数，是一种矩阵范数，记为||·||F。矩阵A的Frobenius范数定义为矩阵...