卡尔文：你知道吗，我觉得数学不是一门科学，而是一种宗教。
霍布斯：一种宗教？
卡尔维：是啊，这些公式就像奇迹一般。你取出两个数，把它们相加时，它们神奇地成为了一个全新的数！没人能说清这到底是怎么发生的。你要么完全相信，要么完全不信。

多维到一维

在展开今天的课题之前，我们先花点时间来看一个特殊的线性变换：多维空间到一维空间（数轴）的线性变换。为什么说这种变换比较特殊，看完本篇的内容，你就能感受到了。

Nov-02-2018 11-43-11.gif

有不少函数能够接收一个二维向量并输出一个数，同样是二维输入和一维输出，和一般的函数相比，线性变换的要求更加严格，如果你有一系列等距分布于一条直线上的点，然后应用变换，线性变换会保持这些点等距分布在输出空间中，也就是数轴上。

image.png

由之前的学习，我们可以知道，这些线性变换完全由对i帽和j帽的变换决定，只不过这次基向量只落在一个数上，所以当我们将它们变换后的位置记录为矩阵的列时，矩阵的每列只是一个单独的数，这是一个1×2矩阵。

图片.png

比如说有这么一个线性变换 [1, -2]，将这个线性变换应用到向量 上，通过几何或代数计算可以得出 的坐标为-2；当你完全从数值角度进行计算时，它就是矩阵向量乘法。

正交投影

Nov-02-2018 14-12-08.gif

我们将数轴复制一份，然后保持0在原点，将它斜像放置在空间中；现在考虑这样一个二维向量 ，它的终点落在这条数轴的1上，暂且称它u帽，如果我们将平面二维向量直接投影到这条数轴上，实际上，我们就这样定义了一个从二维向量到数的函数，更重要的是，这个函数是线性的，因为它通过了线性检验，即直线上等距分布的点投影到数轴上后仍然等距分布。

image.png

这里说明一点，即便我把这条数轴放在二维空间中，上述函数的输出结果还是数，而不是二维向量。你应该把它看作一个接受两个坐标并输出一个坐标的函数。

image.png

不过u帽是二维空间中的一个向量，经过正交投影后，而它碰巧又落在这条数轴上且保持长度不变；根据这个投影，我们定义了一个从二维向量到数的线性变换，所以我们就能够找到描述这个变换的1×2矩阵，即找到变换后i帽和j帽的落脚点。因为i帽和u帽都是单位向量，根据对称性原理可以知道，u帽在i帽的投影长度等于i帽在u帽的投影长度，所以i帽投影后的落脚点就是u帽的横坐标；同理j帽的落脚点就是u帽的纵坐标；所以描述投影变换的1×2矩阵的两列，就分别是u帽的两个坐标，即 。

image.png

根据前面章节对线性变换的介绍，现在你能驾轻就熟的计算出空间中任意向量 (x, y) 经过投影变换的结果，也就是投影矩阵与这个向量相乘。但是现在咱们撇开这些计算，就当做你从来没学习过线性变换，从几何图形来看看变换后的结果：

image.png

通过几何图形，我们一目了然，任意一个向量 (x, y) 经过投影变换后的坐标就是将向量投影到单位向量所在的直线上所得到的投影值。通过简单的几何运算（利用相似三角形的性质即可算出），可以得出投影值为： ，是不是很眼熟？和上面利用矩阵向量乘法的结果是一致的。

我们刚才讨论的是正交投影，u帽在变换前后的长度没有发生变化，如果是非正交投影呢，上面的现象还成立吗？

非正交投影

image.png

我们做这样一个线性变换，变换后的 放大为变换前的3倍，数值上说，它的每个坐标都被放大为原来的3倍；经过这样的变换后，i帽和j帽的投影长度也变成了原来的3倍；更普遍的说，因为这个变换是线性的，意味着这个新矩阵可以看作将任何向量 (x, y) 朝斜着的数轴上投影，然后将结果乘以3；这里的3就是变换后的 长度；同样通过相似三角形的几何知识，可以算出结果是： ，同样地，和矩阵向量乘法结果一致。

现在我们来总结一下，空间中任意一个向量经过投影变换到一维空间后，它的落脚点这样来计算：首先朝着给定向量投影，然后将投影的值与给定向量长度相乘得到的结果。我们用 来描述这种计算，称它为“点积”运算。

对偶性

image.png

通过上面的线性变换计算和几何图形计算，我们发现矩阵向量乘积和点积等效，而且描述投影变换的矩阵的转置即为点积的项，所以这个投影变换必然会与某个二维向量相关。

image.png

这里给你的启发是，你在任何时候看到一个线性变换，它的输出空间是一维数轴，无论是如何定义的，空间中会存在唯一的向量v与之相关。就这一意义而言，应用变换和与向量v做点积是一样的。

image.png

这种现象就是数学中“对偶性”的一个体现，对偶性贯穿数学始终，在多个方面均有体现，而实际定义它却是比较棘手的，粗略地说，它指的是两种数学事物之间自然而又出乎意料的对应关系。

对于你刚学到的情况而言，你可以说一个向量的对偶是由他定义的线性变换；一个多维空间到一维空间的线性变换的对偶是多维空间中的某个特定向量。

点积的定义

图片.png

如果你有两个相同维数的向量或是两个相同长度的数组，求它们的点积，就是将相应的坐标配对，求出每一对坐标的乘积，然后将结果相加。

几何解释

图片.png

要求两个向量 v 和 w 的点积，想象将 w 朝着过原点和向量 v 的直线上（正交）投影，将投影的长度与向量 v 的长度相乘，就得到了它们的点积。如果 w 的投影与 v 的方向相反，则对结果取负。

所以当两个向量的指向大致相同时，它们的点积为正；当它们相互垂直时，意味着一个向量在另一个向量上的投影为零向量，它们的点积为零；而当它们的指向基本相反时，它们的点积为负。

点积与顺序无关

图片.png

• 如果v和w的长度恰好相同，我们可以利用其中的对称性，可知v在w上的投影长度和w在v上的投影长度是相等的，所以

• 如果将其中一个（比如v）缩放若干倍（比如两倍），使得它们的长度不同，对称性被破坏了，但是我们可以这样解读2v和w这两个新向量的点积

图片.png

如果你认为w向2v上投影，那么2v点乘w就恰好是v点乘w的两倍，因为v的变化不影响w的投影长度。

图片.png

另一方面，假设你想将v投影到w上，我们将v变为了原来的两倍，所以投影的长度也变为了原来的两倍，所以点积还是原来的两倍。

在两种理解方式下，缩放向量对点积结果的影响是相同的，所以两个向量的点积与顺序无关。

总结

表面上看，点积是理解投影的有利几何工具，并且方便检验两个向量的指向是否相同，这大概也是你需要记住的点积中最重要的部分，不过更近一步讲，两个向量点乘，就是将其中一个向量转化为线性变换。

线性代数这门科学，从始至终都在和向量打交道，一旦你真正了解了向量的“个性”，有时你就会意识到，不把它看作空间中的箭头，而是把它看作线性变换的物质载体，会更容易理解向量；向量仿佛是一个特定变换的概念性记号，因为对我们来说，想象空间中的向量比想象整个空间移动到数轴上更加容易。