还记不住范数吗？

作者: 张小甜甜 | 来源:发表于2019-08-16 17:52 被阅读0次

还记不住范数吗？
三种范数
范数
Frobenius norm(Frobenius 范数)
范数与距离度量（python实现）
标准化与归一化 with Scikit-learn
常见向量范数和矩阵范数
向量的范数
范数
范数

向量范数

$L_0$ 范数

$\|x\|_0=\sum|x_i|^0$
非零元素个数

如果我们使用 $L_0$ 来规则化参数向量w，就是希望w的元素大部分都为零。 $L_0$ 范数的这个属性，使其非常适用于机器学习中的稀疏编码。在特征选择中，通过最小化 $L_0$ 范数来寻找最少最优的稀疏特征项。

但是， $L_0$ 范数的最小化问题是 NP 难问题。而 $L_1$ 范数是 $L_0$ 范数的最优凸近似，它比 $L_0$ 范数要更容易求解。因此，优化过程将会被转换为更高维的范数（例如 $L_1$ 范数）问题。

$L_1$ 范数

$\|x\|_1=\sum|x_i|$
向量中各个元素绝对值之和，也被称作“Lasso regularization”（稀疏规则算子）

在最小化目标函数的时候考虑一些不重要的特征，虽然可以获得更小的训练误差，但在预测新的样本时可能会产生过拟合。稀疏规则化算子的引入就是为了完成特征自动选择，去掉信息较少的特征，也就是把这些特征对应的权重置为0。

$L_2$ 范数

$\|x\|_2=\sqrt{\sum|x_i|^2}=(\sum |x_i|^2)^\frac{1}{2}$
$L_2$ 范数可以防止过拟合

$L_2$ 范数是指向量各元素的平方和然后求平方根。我们让 $L_2$ 范数的规则项最小，可以使得的每个元素都很小，都接近于0，但与 $L_1$ 范数不同，它不会让它等于0，而是接近于0。

这是有很大的区别的。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。因为当限制了参数很小，实际上就限制了多项式某些分量的影响很小，这样就相当于减少参数个数。

通过L2范数，我们可以实现了对模型空间的限制，从而在一定程度上避免过拟合。

$\infty$ -范数

$\|X\|_\infty=max|x_i|$

$p$ 范数

$\|X\|_p=(\sum |x_i|^p)^\frac{1}{p}$
其中正整数 $p\geq1$ ，且 $\lim\|X\|_p= max|x_i|$

矩阵范数

1-范数

$\|A\|_1=\max_j\sum_{i=1}^m|a_{i,j}|$
列和范数，所有矩阵列向量绝对值之和的最大值。

2-范数

$\|A\|_2=\sqrt{\lambda_1}$ ， $\lambda_1$ 为 $A^TA$ 的最大特征值
谱范数，即 $A^TA$ 矩阵的最大特征值的平方根。

$\infty$ 范数

$\|A\|_\infty=\max_i\sum_{j=1}^N|a_{i,j}|$
行和范数，即所有矩阵行向量绝对值之和的最大值

核范数

$\|A\|_*=\sum_{i=1}^n\lambda_i$ ， $\lambda_i$ 的A的奇异值
奇异值之和

F-范数（矩阵的 $L_2$ 范数）

$\|A\|_F=(\sum_{i=1}^m\sum_{j=1}^n|a_{i,j}|^2)^\frac{1}{2}$
Frobenius范数，即矩阵元素绝对值的平方和的平方跟

矩阵的 $L_0$ 范数

矩阵的非0元素的个数
通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏。

矩阵的 $L_1$ 范数

矩阵中的每个元素绝对值之和
是L0范数的最优凸近似，因此它也可以近似表示稀疏；

矩阵的 $L_{2,1}$ 范数

$\|X\|_{2,1}=\sum_{i=1}^m\sqrt{\sum_{j=1}^n X_{i,j}^2}=\sum_{i=1}^m\|X_{i,:}\|_2$
矩阵X每一行的 $L_2$ 范数之和

矩阵的 $L_{2,p}$ 范数

$\|A\|_{2,P}=(\sum_{i=1}^{m}(\sum_{j=1}^{n}|A_{i,j}|^2)^\frac{p}{2})^\frac{1}{p}=(\sum_{i=1}^{m}(\|a_i\|_2^2)^\frac{p}{2})^\frac{1}{p}$

还记不住范数吗？
向量范数范数非零元素个数如果我们使用来规则化参数向量w，就是希望w的元素大部分都为零。范数的这个属性，使其非...
三种范数
上的三种常用的范数：,称为1-范数。称为2-范数。称为-范数。
范数
向量的范数向量的1-范数向量元素绝对值之和。向量的2-范数 Euclid范数（欧几里得范数，常用计算向量长度...
Frobenius norm(Frobenius 范数)
Frobenius 范数，简称F-范数，是一种矩阵范数，记为||·||F。矩阵A的Frobenius范数定义为矩阵...
范数与距离度量（python实现）
范数 norm则表示范数，函数参数如下： ①x: 表示矩阵（也可以是一维） ②ord：范数类型向量的范数： ...
标准化与归一化 with Scikit-learn
1. 范数公式 L0 范数：所有非零元素个数 L1 范数： L2 范数： Lp 范数： 2. 标准化（Standa...
常见向量范数和矩阵范数
1、向量范数1-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，ma...
向量的范数
向量的范数是一个标量范数为：特别地： 0范数为向量中非零元素的个数 1范数为向量元素的绝对值相加 2范数为向量元...
范数
范数，是用来衡量向量，矩阵的大小的。下面介绍一下常用的范数：向量的范数 L1范数：其实就是向量每一维数的绝对...
范数
(5 条消息)0 范数、1 范数、2 范数有什么区别？ - 知乎 https://www.zhihu.com/q...

还记不住范数吗？

向量范数

$L_0$ 范数

$L_1$ 范数

$L_2$ 范数

$\infty$ -范数

$p$ 范数

矩阵范数

1-范数

2-范数

$\infty$ 范数

核范数

F-范数（矩阵的 $L_2$ 范数）

矩阵的 $L_0$ 范数

矩阵的 $L_1$ 范数

矩阵的 $L_{2,1}$ 范数

矩阵的 $L_{2,p}$ 范数

相关文章

还记不住范数吗？

三种范数

范数

Frobenius norm(Frobenius 范数)

范数与距离度量（python实现）

标准化与归一化 with Scikit-learn

常见向量范数和矩阵范数

向量的范数

范数

范数

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

还记不住范数吗？

向量范数

范数

范数

范数

-范数

范数

矩阵范数

1-范数

2-范数

范数

核范数

F-范数（矩阵的范数）

矩阵的范数

矩阵的范数

矩阵的范数

矩阵的范数

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

$L_0$ 范数

$L_1$ 范数

$L_2$ 范数

$\infty$ -范数

$p$ 范数

$\infty$ 范数

F-范数（矩阵的 $L_2$ 范数）

矩阵的 $L_0$ 范数

矩阵的 $L_1$ 范数

矩阵的 $L_{2,1}$ 范数

矩阵的 $L_{2,p}$ 范数