2.3 图像分类：线性分类

线性分类器有助于我们建立起整个神经网络和整个卷积网络。

线性分类器是参数模型中最简单的例子。我们的参数模型有两个不同的部分，可能是一个猫（如左边所示），还有一组参数，通常将输入数据写成x，就是参数设置或是权重W。当输入数据后，会出现10个数来对应CIFAR-10中的10个类别所对应的分数，分数最大的类别即表明x是该类别的可能性更大。 image.png 将参数相乘是最简单的线性分类器， image.png 如果能把上述方程的维度解出来，前提是我们的图像是32*32*3的输入值，我们要取这些值，将它们展成一个3072项长列向量，由于想要得到10个类的得分，因而w是一个10*3072的矩阵，x是3072*1的矩阵。 image.png 然而，有时你会看到，我们通常会添加一个偏置项，它是一个10元素的常数项量，它不与训练数据交互，而只会给我们一些数据独立的偏好值，仅仅针对这一类的偏好 。你可以想象，如果你的数据集不平衡，即猫的数量多于狗的时候，那么与猫对应的偏差元素就会比其他的要高。 image.png

这里有一个2*2，有4个像素的图像，线性分类器的工作方式是，我们把这个2*2的图像拉伸成一个有四个元素的列向量，这里我们只限制有3类，因而权重矩阵为3*4，有四个像素和3个类，现有一个三元素 偏差向量，它给我们提供了每个类别的数据独立的偏差项。

image.png

可以看到猫的分数将会是我们图像的像素和这个权重矩阵之间的输入乘积加上这个偏置项，如此可以理解线性分类几乎是一种模板匹配方法，这个矩阵的每一行对应图像的某个模板。
但是，这也存在一个问题，每个类别只能学习一个模板，如果这个类别出现了某种类型的变体，那么它将尝试求取所有不同变体的平均值，并且只使用一个单独的模板来识别其中的每一个类别。
线性分类器只允许学习每个类别的一个模板，当我们来看神经网络和更复杂的模型，我们能够得到更好的准确率，因为这些模型再也没有每个类别学习一个单独的模板的限制。
线性分类器的另一个观点是作为点和高维空间的概念，你可以想象成我们每一张图像都是类似高维空间中一个点的东西，现在这个线性分类器在这些线性决策边界上尝试画一个线性分类面 来划分一个类别和剩余其他类别。

image.png 但是如果从高维空间的角度考虑线性分类器，可能出现的问题，如下图左边所示，没有办法画出一条线来将红蓝区域分开，即奇数与偶数没有办法通过线性分类器分开。线性分类器无法解决的其他情况是多分类问题，如下图右边所示。 image.png

总结

线性分类可以理解为每个种类的学习模板，对图片里的每个像素以及n个类别里的每一项，矩阵W里都有一些对应的项告诉我们那个像素对那个分类有多少影响，也就是W的每一行都对应一个分类模板，如果解开每一行的值，那么每一行又分别对应一些权重，每个图片像素值和对应那个类别的一些权重将这行分解回图像的大小，我们就可以可视化学到每个类的模板。
也可从高维空间的角度考虑线性分类器。