0范数、1范数、2范数

函数与几何图形往往是有对应关系的，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。
但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。
为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个集合（另外一个向量）。
那么向量的范数表示这个原有集合的大小。
矩阵的范数表示这个变化过程的大小的一个度量。
简单说：0范数表示向量中非零元素的个数（即为其稀疏度）。1范数表示为，绝对值之和。而2范数则指模。

向量范数

1-范数：

，即向量元素绝对值之和 。

2-范数：

，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方。

-范数：

，即所有向量元素绝对值中的最大值。

--范数：

，即所有向量元素绝对值中的最小值。

p-范数：

，即向量元素绝对值的p次方和的1/p次幂。

矩阵范数

1-范数：

， 列和范数，即所有矩阵列向量绝对值之和的最大值。

2-范数：

为的A^TA最大特征值。谱范数，即A'A矩阵的最大特征值的开平方。

-范数：

，行和范数，即所有矩阵行向量绝对值之和的最大值。

F-范数

，Frobenius范数，即矩阵元素绝对值的平方和再开平方。

核范数：

是A的奇异值。

---

Lp范数是常用的正则化项，其中L2范数|w|2倾向于w的分量取值尽量均衡，即非零分量个数尽量稠密，而L0范数与L1范数则是倾向于w的分量尽量稀疏，即非零分量个数尽量少。