深度学习常用术语

1 线性可分

对于两类不同的 维点的集合 和 ，如果存在一个向量 和一个标量 使得

则称 和 是线性可分的。换言之， 和 能够被一个超平面隔开。

注意：同维度的仿射变换不改变线性可分或不可分的性质，高维变换到低维可能会让本来线性可分的样本变得不可分，而低维变换到高维则不会破坏线性可分性。总之，在高维空间中样本更容易被线性分开。

高维度的数据一般会变得更加稀疏，局部泛化性也极大的减弱了。

2 内积与卷积

内积

设有两个向量 与 ，它们的点积（或内积）定义为

从几何的角度来考虑 ，即

结论1：如果 ||a|| = ||b|| = 1，那么可将其看作是 与 的相似性度量，它们的相似性越高，则内积越大。

1D 卷积

对于两个离散的信号 和 ，1D 卷积的定义：

从信号的角度，可以把卷积看作是一个滤波器，卷积的结果是被卷积信号在这个滤波器上的响应。所以，大体上越是和卷积核倒转之后相似的信号越是会获得较大的响应。

卷积和互相关

互相关与卷积的定义相似：

在机器学习领域，卷积和互相关本质上的作用是一样的，故而并不严格区分它们。下文默认卷积都是指互相关。