距离与范数

作者: 巴拉巴拉_9515 | 来源:发表于2023-02-17 17:52 被阅读0次

2019-03-05深度学习——搭建一个简单的KnnClassi
赋范空间和收敛
数学小知识
范数
机器学习技术博客集
几种常见范数
机器学习中的均方根误差、平均绝对误差、L1、L2范数介绍
范数与距离度量（python实现）
NLP教程：什么是范数（norm）？以及L1,L2范数的简单介绍
范数-Norm- the concept

什么是距离？

举例一：计算两点之间直线的长度

初高中就学习的欧几里得距离，根据勾股定理 $a^2+b^2=c^2$ ，可以计算出斜边长度为 $c = \sqrt{a^2+b^2}$ ，扩展到三维，n维，得到欧式距离公式 $=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}$ 。

举例二：两个地点的距离

从地点A走到地点B的距离计算，不能使用欧几里得距离了，没办法走蓝色这条直线。这里使用曼哈顿距离，把每一小段的距离都加起来
$=\sum_{i=1}^n |x_i -y_i|$
由于距离是必大于0的，所以要加上绝对值。

举例三：棋子的最短距离

棋盘上某棋子可以前后、左右、斜向行走，从A点到B点的最短距离是 $=max\{|x_1-y_1|, ..., |x_n-y_n|\}$ ，我们称这种距离度量为切夫雪比距离。

更多距离的解释

通过上面三个例子，我们可以定义距离。定义一个东西我们往往把它的属性摘出来，例如定义水果，我们提取出“可食”、“含水分”等特性。所以我们定义距离满足“非负性”、“对称性”、“三角不等性”。

什么是范数？

范数就是点到零点的距离。所以前面的 $y_i=0$

$欧几里得范数 = ||x||_2 = \sqrt{\sum_{i=1}^n x_i^2}$
$曼哈顿范数 = ||x||_1 = \sum_{i=1}^n |x_i|$
$切夫雪比范数=||x||_{\infty} = \max\{|x_1|, |x_2|, ..., |x_n| \}$

我们来定义一下范数。
在距离定义的基础上，多了数乘要求。就像热带水果和水果一样，热带水果比水果多一个属性限制。所以范数是属于距离的。使用符号 $||x||$ 表示x的范数。

我们发现欧几里得范数、曼哈顿范数、切夫雪比范数是有规律的，满足公式 $(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}}$
当p=1时，就是曼哈顿范数，因此记录为 $||x||_1$ ，也成为L1范数
当p=2时，就是欧几里得范数，因此记录为 $||x||_2$ ，也成为L2范数
当p= $\infty$ 时，就是切夫雪比范数，因此记录为 $||x||_{\infty}$ ， $L_{\infty}$ 范数

ML中距离的度量

L1 Loss和L2 Loss

回归问题中，模型学习历史数据，然后做出预测，如何判断预测向量和实际值的距离呢？
MAE就是在曼哈顿距离的基础上加了mean(求均值)，也被称为 L1 Loss
MSE在欧几里得距离上做了延申，也被称为L2 Loss

更多回归度量指标

L1,L2正则

在曼哈顿范数（L1范数）和欧几里得范数（L2范数）上展开，在原本损失 $J(w)$ 的基础上，加了限制。

小结

指标	公式	备注
曼哈顿距离	$\sum_{i=1}^n \|x_i -y_i\|$
L1 损失	$\frac{1}{n}\sum_{i=1}^n \|y_i - \hat{y_i}\|$	MAE
L1 范数	$\sum_{i=1}^n \|x_i\|$	$\|\|x\|\|_1$
L1 正则	$J(w) + c\|\|w\|\|_1$
欧式距离	$\sqrt{\sum_{i=1}^n(x_i-y_i)^2}$
L2 范数	$\sqrt{\sum_{i=1}^nx_i^2}$	$y_i=0$
L2 损失	$\frac{1}{n}\sum_{i=1}^nx_i^2$	$\|\|w\|\|_2$
L2 正则	$J(w) + c\|\|w\|\|_2^2$

2019-03-05深度学习——搭建一个简单的KnnClassi
KNN思想 NN选出与目标图片距离（范数）最近的一张图片KNN选出与目标图片距离（范数）最近的K张图片，并统计K张...
赋范空间和收敛
范数是绝对值的推广，数集中的绝对值度量的是与0的距离，线性空间中的范数度量的是与零元素的距离。这种距离由形象而来，...
数学小知识
范数范数是一种更宽泛的长度（距离）概念，只要满足非负、自反、三角不等式就可以称之为距离。向量范数 L1-范数（...
范数
向量范数：向量范数定义了向量的距离，而距离满足正定，齐次，三角不等式。范数的使用可以帮助特征选择，使得模型更具解释...
机器学习技术博客集
常见的距离算法和相似度（相关系数）计算方法机器学习中的范数规则化之（一）L0、L1与L2范数机器学习中的范数规...
几种常见范数
范数是一种更宽泛的长度（距离）概念，只要满足非负、自反、三角不等式就可以称之为距离。在数学上，范数包括向量范数和...
机器学习中的均方根误差、平均绝对误差、L1、L2范数介绍
1.均方根误差 RMSE：计算平方和的根，测量预测向量与目标值向量之间的距离，又称为欧几里得范数,L2范数RMSE...
范数与距离度量（python实现）
范数 norm则表示范数，函数参数如下： ①x: 表示矩阵（也可以是一维） ②ord：范数类型向量的范数： ...
NLP教程：什么是范数（norm）？以及L1,L2范数的简单介绍
什么是范数？范数，是具有“距离”概念的函数。我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就...
范数-Norm- the concept
向量的范数定义： 1.向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。...