算子范数为什么是矩阵范数

作者: Azur_wxj | 来源:发表于2020-05-12 15:50 被阅读0次

算子范数为什么是矩阵范数
Frobenius norm(Frobenius 范数)
范数与距离度量（python实现）
范数
范数
李沐-动手学深度学习（三）线性代数
向量范数和矩阵范数
线性代数基础
机器学习面试004—正则化
矩阵的稀疏度计算（matlab）

矩阵范数 $\|A\|$ 要满足四条性质：

（正定性） $\|A\|\geqslant 0$ ， $\|A\|=0\Longleftrightarrow A=O$
（齐次性） $\|\alpha A\|=|\alpha|\|A\|$
（三角不等式） $\|A+B\|\leqslant \|A\|+\|B\|$
（相容性） $\|AB\|\leqslant \|A\|\|B\|$

矩阵的算子范数 $\|\cdot\|$ 是根据某一个向量范数 $\|\cdot\|_\mathbb{V}$ 诱导出来的，它等于 $\|A\|=\max_{v\neq 0}\frac{\|Av\|_\mathbb{V}}{\|v\|_\mathbb{V}}$ 注意到 $\|v\|_v$ 是非零标量，于是 $\|A\|=\max_{v\neq 0}\left\|A\frac{v}{\|v\|_\mathbb{V}}\right\|_\mathbb{V}=\max_{\|v'\|_\mathbb{V}=1}\|Av'\|_\mathbb{V}$ 其中 $v'=v/\|v\|_\mathbb{V}$ 。

假设某种算子范数 $\|\cdot\|$ 有定义（即对每一个 $A$ ， $\|A\|$ 都能确定唯一一个实数值，也就是max存在），我们现在证明它确实是一种矩阵范数

算子范数非负是显然的，因为对应的向量范数非负。当 $\|A\|=0$ ，当且仅当 $\forall v:\|v\|_\mathbb{V}=1$ ，都有 $\|Av\|_\mathbb{V}=0$ ，根据向量范数知道，这当且仅当都有 $Av=0$ ，当且仅当 $A=O$
齐次性也是显然的
$\|A+B\|=\max_{\|v\|_\mathbb{V}=1}\|(A+B)v\|_\mathbb{V}$ ，我们设其为 $\|(A+B)v'\|_\mathbb{V}$ ，这意味着 $\forall v:\|v\|_\mathbb{V}=1$ ，都有 $\|(A+B)v\|_\mathbb{V}\leqslant \|(A+B)v'\|_\mathbb{V}$ 。现在根据向量范数的三角不等式就有 $\|(A+B)v'\|_\mathbb{V}\leqslant\|Av'\|_\mathbb{V}+\|Bv'\|_\mathbb{V}$ 然而注意到 $\|Av'\|_\mathbb{V}\leqslant\max_{\|v\|_\mathbb{V}=1}\|Av\|_\mathbb{V}=\|A\|$ （根据max的性质就可以得到此不等式），类似有 $\|Bv'\|_\mathbb{V}\leqslant \|B\|$ ，于是三角不等式成立。
$\|AB\|=\max_{\|v\|_\mathbb{V}=1}\|ABv\|_\mathbb{V}=\max_{\|v\|_\mathbb{V}=1}\left\|A\frac{Bv}{\|Bv\|_\mathbb{V}}\right\|_\mathbb{V}\cdot\|Bv\|_\mathbb{V}$ ，我们同样令其为 $\left\|A\frac{Bv'}{\|Bv'\|_\mathbb{V}}\right\|_\mathbb{V}\cdot\|Bv'\|_\mathbb{V}$ ，因为 $Bv'/\|Bv'\|_\mathbb{V}=1$ ，所以令 $v''=Bv'/\|Bv'\|_\mathbb{V}$ ，我们就有 $\|Av''\|_\mathbb{V}\cdot\|Bv'\|_\mathbb{V}$ ，基于和三角不等式性质证明的同样理由，我们有 $\|Av''\|_\mathbb{V}\cdot\|Bv'\|_\mathbb{V}\leqslant \|A\|\cdot\|B\|$ ，所以相容性成立。

算子范数为什么是矩阵范数
矩阵范数要满足四条性质：（正定性），（齐次性）（三角不等式）（相容性）矩阵的算子范数是根据某一个向量范数...
Frobenius norm(Frobenius 范数)
Frobenius 范数，简称F-范数，是一种矩阵范数，记为||·||F。矩阵A的Frobenius范数定义为矩阵...
范数与距离度量（python实现）
范数 norm则表示范数，函数参数如下： ①x: 表示矩阵（也可以是一维） ②ord：范数类型向量的范数： ...
范数
范数，是用来衡量向量，矩阵的大小的。下面介绍一下常用的范数：向量的范数 L1范数：其实就是向量每一维数的绝对...
范数
1、核范数||.||_*：是指矩阵奇异值的和，目的是约束Low-Rank（低秩）核范数||W||*是指矩阵奇异值...
李沐-动手学深度学习（三）线性代数
标量的长度就是其绝对值。向量：矩阵：对于矩阵，一般用F范数（因为矩阵范数算起来比较麻烦）一个矩阵是正定的，...
向量范数和矩阵范数
线性代数中最有用的一些运算符是范数（norm）。非正式地说，一个向量的范数告诉我们一个向量有多大。这里考虑的大小...
线性代数基础
矩阵范数定义一个在m×n的矩阵上的矩阵范数(matrix norm)是一个从m×n线性空间到实数域上的一个函数...
机器学习面试004—正则化
1. L1范数和L2范数的区别是什么？ Ans：①L1范数——指向量中各个元素的绝对值之和，又叫“稀疏规则算子”(...
矩阵的稀疏度计算（matlab）
得到非负矩阵分解（NMF）的基图像矩阵和系数矩阵后，Hoyer [1] 提出可以利用L1范数和L2范数之间的差异度...