关于范数的一些基础

作者: ElsonChn | 来源:发表于2019-02-11 23:15 被阅读0次

关于范数的一些基础
3.1.2.3L2范数正则化
关于范数的讲解
三种范数
范数
Frobenius norm(Frobenius 范数)
范数与距离度量（python实现）
标准化与归一化 with Scikit-learn
关于向量范数的理解
向量的范数

0 范数

范数，是具有“长度”概念的函数。

赋范线性空间：

若 $X$ 是数域上的线性空间，泛函 $||\cdot||:X\rightarrow \mathbb{R}$ 满足：

正定性： $||x||\ge0$ ,且 $||x||=0 \leftrightarrow x=0$ ;

正齐次性: $||cx||=|c|\cdot||x||$ ;

次可加性(三角不等式): $||x+y||\le||x||+||y||$ 。

那么， $||\cdot||$ 称为 $X$ 上的一个范数。

空间范数和矩阵范数

1 空间范数

常用范数--P范数

若 $x=[x_1,X_2,...,x_n]^T$ ,那么
$||x||_p=(|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac{1}{p}}$
当 $p$ 取1,2， $\infty$ 时，分别为

1-范数： $||x||_1=|x_1|+|x_2|+...|x_n|$

2-范数： $||x||_2=(|x_1|^2+|x_2|^2+...|x_n|^2)^{\frac{1}{2}}$

$\infty$ 范数： $||x||_\infty=max(|x_1|,|x_2|,...|x_n|)$

2 矩阵范数

把矩阵看作线性算子，那么可以由向量范数诱导出矩阵范数

1-范数： $||A||_1=max\{\sum|a_{i1}|,\sum|a_{i2}|,...,\sum|a_{in}|\}$ （列和范数，A的每一列元素绝对值之和的最大值）

2-范数： $||A||_2=$ the max singular value of A $=(max\{\lambda_i(A^H*A)\})^{\frac{1}{2}}$ （谱范数：即 $A^T*A$ 特征值 $\lambda_i$ 中，最大者 $\lambda$ 的平方根）

$\infty$ 范数： $||A||_\infty=max\{\sum|a_{1j}|,\sum|a_{2j}|,...,\sum|a_{nj}|\}$ （行和范数，A的每一行元素绝对值之和的最大值）

矩阵范数的一些性质

对于任何非零矩阵 $A \not = O$ ,其范数大于零，即 $||A||>0$ ,并且 $||O||=0$ .( $O$ 为零矩阵)
对于任意复数 $c$ 有 $||cA||=|c|||A||$
矩阵范数满足三角不等式 $||A+B|| \le ||A||+||B||$
两个矩阵乘积的范数小于或等于两个矩阵范数的乘积 $||A\cdot B|| \le ||A||\cdot||B||$

非诱导范数

有些矩阵范数不可以由向量范数来诱导，比如常用的Frobenius范数（也叫Euclid范数，简称F-范数或者E-范数）：

$||A||_F=(\sum\sum a_{ij}^2)^{\frac{1}{2}}$ --(A全部元素平方和的平方根)

关于范数的一些基础
0 范数范数，是具有“长度”概念的函数。赋范线性空间：若是数域上的线性空间，泛函满足：正定性：,且;正齐次性:...
3.1.2.3L2范数正则化
与L1范数正则化略有不同的是，L1范数正则化则在原优化目标的基础上，增加了参数向量的L2范数的惩罚项，为了使新优化...
关于范数的讲解
https://blog.csdn.net/yangpan011/article/details/79461846...
三种范数
上的三种常用的范数：,称为1-范数。称为2-范数。称为-范数。
范数
向量的范数向量的1-范数向量元素绝对值之和。向量的2-范数 Euclid范数（欧几里得范数，常用计算向量长度...
Frobenius norm(Frobenius 范数)
Frobenius 范数，简称F-范数，是一种矩阵范数，记为||·||F。矩阵A的Frobenius范数定义为矩阵...
范数与距离度量（python实现）
范数 norm则表示范数，函数参数如下： ①x: 表示矩阵（也可以是一维） ②ord：范数类型向量的范数： ...
标准化与归一化 with Scikit-learn
1. 范数公式 L0 范数：所有非零元素个数 L1 范数： L2 范数： Lp 范数： 2. 标准化（Standa...
关于向量范数的理解
最近搞深度学习用到了范数的概念（准确地说是向量范数），我在这里作一下简单的解释，未必100%准确，但是对我来说已经...
向量的范数
向量的范数是一个标量范数为：特别地： 0范数为向量中非零元素的个数 1范数为向量元素的绝对值相加 2范数为向量元...