范数

范数是什么？

有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用被称为范数（norm）的函数衡量向量大小。形式上，Lp 范数定义如下

image.png

其中p 属于实数空间中的元素，p 大于等于1。

范数（包括Lp 范数）是将向量映射到非负值的函数。直观上来说，向量x 的
范数衡量从原点到点x 的距离

L2范数

当p = 2 时，L2 范数被称为欧几里得范数（Euclidean norm）。它表示从原点出发到向量x 确定的点的欧几里得距离。平方L2 范数在数学和计算上都比L2 范数本身更方便。例如，平方L2 范数对x 中每个元素的导数只取决于对应的元素，而L2 范数对每个元素的导数却和整个向量相关。但是在很多情况下，平方L2 范数也可能不受欢迎，因为它在原点附近增长得十分缓慢。

L1范数

在某些机器学习应用中，区分恰好是零的元素和非零但值很小的元素是很重要的。在这些情况下，我们转而使用在各个位置斜率相同，同时保持简单的数学形式的函数：L1 范数。L1 范数可以简化如下： image.png

当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用L1 范数。每当x 中某个元素从0 增加ϵ，对应的L1 范数也会增加ϵ。