看完孟岩三篇，再来学习线性相关。这个概念，是在看https://www.bilibili.com/video/BV1ys411472E?p=3时出现的。我转载知乎的一个回答，来加深理解：
一、参考线性代数中的线性相关或无关到底是什么意思？秩又是什么东西？秩相同意味着什么？
作者：天下无难课
链接：https://www.zhihu.com/question/39326459/answer/1901685277
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
这个问题是线代里很基本一个问题，很多线代考试通关了的也不太明白的。
简单回答：
1.线性相关是指向量之间的关系。不是向量内部一个分量与另外一个分量的关系，也不是矩阵与矩阵的关系。
2.对于两个向量而言，如果它们是共线的(方向相同或者相反)，它们就是线性相关的，如果不共线，它们就是线性无关的。
如果共线，它们两个之间就存在着一个乘一个系数λ就可以相等的数学关系，就是a=λb。任何两个同维数的向量，如果可以写成这样一个等式关系，它们虽然不相等，但就们就是线性相关的。
3.而对于一组向量，比如说有n个，如果其中有n-1个向量能组合(也叫线性表达)该组余下的那个向量，那么这一组向量就叫做线性相关的。你可以把这看成这n-1个向量组合出了一个与该组余下的那个向量共线的一个向量，这两个向量共线了，就意味着这一组向量线性相关了。
看见没有，这里的关键就是向量之间是否存在共线的关系，或者是看两个仅有的向量之间是否存在共线的关系，或者是说在一组向量的情况下，就是在有好几个向量的情况下，是否其中的几个向量能搞出一个组合，形成一个新向量，而这个新向量与原向量组的其他的某个向量能够共线(此说受到有评A君的质疑，本答动摇过，后来又厘清了，参见有评及本答的几次回复)。
请留意的是，这n个一组的向量里有n-1个向量可以组合出余下的那个向量这件事并不要求对所有n-1个向量与剩下的那个都能组合出来，只要这组有一组n-1个向量能把余下的那个组合出来，这组n个向量就是线性相关的，只要成一次就行。
啥是无关？很简单了，就是两个向量之间不共线，或一组向量组合不出两个能有共线关系的向量来么。
为啥要对这个线性相关关系那么着墨呢？这就涉及线代的核心(基础)构件和运算了。线代的核心(基础)构件是啥？是数组么，学名叫向量。我们在线代之前整的都是数字与数字之间的关系，而在线代里整的是数组与数组的关系。这是一个根本性的区别(很多人终其所学，也没明确意识到这一点)。
我们在理解数字之间的相对关系时是咋考虑的？数字与数字之间最基本的关系有两层，第一层是“=”和“≠”，a=b，或a≠b，对吧？而在“≠”这个分叉上又有“＞”和“＜”这两个分法，a＞b，或a＜b。
这两层关系都是在一根数轴上以a,b到零点的距离远近来比较的。
我们在线代里要对付的不再是单个数字，而是数组(学名“向量”)。这样，在区分它们的关系时，虽然“＝”的关系还是在的(两个数组里的每一个对应数字都相等)，但对于≠的这一枝就不能再用＞和＜的关系来描述了。线性相关或无关就是对向量在不等情况下所处的相对关系的一种描述。
(待续)
现在扯扯为啥线代的在向量关系上着重扯线性相关不相关，而不是大小？
1.单扯大小没用。对应“大小”概念的是向量的模长，模长是向量非零端到零点的距离。在比较数字时，用到零点的距离大小就说清二者的关系了，可在向量(数组)上不行。正如一个常举的例子，两辆车，一辆可开100公里/时，一个只能开60公里/时，哪辆先从南京开到北京？在单单比较数字时的结论是明确的，但在考虑方向后，就不一定了，那辆开的快的若往上海跑呢？各位，进入线代后，我们就遇到了一个在方向上有选择，而选对方向比埋头奔跑的快更重要的领域。
2.“方向”才是数组世界里最重要的事。比如颜色，一个混合色可由三原色搭配组合而成，红蓝黄在整体中的比例决定了最后呈现是啥颜(混合)色。颜色是数组有意义的典型案例。
决定颜色的是颜料总量(模长)的大小么？非也，是颜色的“方向”，就是几个原色的比例。只要比例相同，模长差别再大也是“同色”，是“线性相关”的；而即便是模长相同，但“方向”不同，也是线性无关的，就是不同的颜色。方向差别越大(越接近正交)，颜色差越大。
在y=Ax里我们求啥？如果是求y，在颜色的案例里就是在手头有几种混合色a₁,a₂…aₙ的情况下，按x规定的比例来调色，得到一个新的混合色y。
如果是求x，就是在手头有这些混合色A的情况下为了要调出一个y来，我们想要知道手头的几个混合色必须按啥比例x混才能行。
只要线性相关的关系对上了，模长大小的差别很容易解决，乘一个系数就搞定了。但如果线性无关，再乘系数都搞不定啊。比如a,b共线，但|a|≠|b|，很简单，乘一个系数λ=|b|/|a|，就有b=λa了，在线代里就叫b可以被a线性表示了。a,b本来就同色么，要得到b，可不就是给a多加点料么。
在数组(向量)世界里，能否搞共线了是核心问题，本组线性相关，就能在本组里搞出方向一致来，无关的，就搞不出了。天大地大，数组是否有相关性关系最大。
插1
以下这段是对别答做的一段评论，转帖到这来，对啥是向量的线性相关多啰嗦点。
线性相关讲的是向量之间的关系，如果一个向量可以由另外一个向量乘上一个系数就表达出来，这两个向量就叫线性相关的。比如向量a，b，如果有一个数字λ，b=λa的关系成立，则a，b线性相关。
为啥叫“线性”？这个是从函数式y=f(x)里借用过来的。如果y与x之间的关系式为y=ax，这里a是一个系数，则称y与x的关系为线性的。这时若做y与x的关系图，那就是一根直线，这是“线性”这个说法的视觉来源。同样，若在两个向量之间存在y=ax的关系，我们就说y与x存在线性关系。不过，在线代里“线性关系”有三个变化，一个是通常以λ来表示一个系数，而不是用a，因为a这种字母常被用来表示向量(数组)，而不是表示数字；其二，y与x不再是数字，而是数组，在线代里说的两个数组之间存在线性关系，而不是两个数字之间；第三，在线代里不说y与x之间存在线性关系，而是说两个向量是“线性相关”的。
请注意一点，在两个数字之间总是存在线性关系的，任选两个数y，x，你总能找到一个a，使y=ax，而对于两个向量就不是了，它们多半是线性无关的，只有一部分是线性相关的。当两个向量线性相关时，它们必定是“共线”的(同向或反向)。
上面说的其两个向量之间存在线性关系，那么对于一组向量呢？它们之间的线性相关与无关是咋区分的呢？这与两个向量的情形是类似的。如果一组向量X(在线代里，用大写的X表示有一组x向量)里，有一个(只要有一个)向量能被其它向量乘上各自的系数以后相加加出来，这组向量就是线性相关的，也就是说它们之间(作为一个组)存在线性关系。这件事的数学表达式就是：y=λ₁x₁+λ₂x₂+…+λₙxₙ。
你看，从数字关系的函数形式看，这就是一个多元一次方程么，每一个偏导都是线性的。这也就是两个向量(也是一个向量组哦)线性关系的扩展么。
两个向量若线性相关(存在线性关系)，则它们必共线，一个y=λx的代数式对应的是在几何上两根有向线段的重合(共线)，那么对三个向量呢？y=λ₁x₁+λ₂x₂这个代数式在几何上的对应就是y,x₁,x₂这三个有向线段共面。那么，四个呢？可以理解为y,x₁,x₂,x₃这四个向量共体(三维体)。
你看，线性相关就是指一组向量之间存在线性关系，在线代里的说法就是一组向量里至少有一个向量可以被其它向量线性组合出来。所谓“线性组合”就是参与组合的向量每个都乘以一个系数，然后加总，只要这些系数不是全零，该组就线性相关了，就存在线性关系了。这事在线代里的代数表示就是：如果有λ₀x₀+λ₁x₁+λ₂x₂+…+λₙxₙ=0，且λ不都是零，哪怕只有一个不是零，这个向量组X就是线性相关的，就是该组的向量之间存在线性关系。
线性相关就是有线性关系。有没有线性关系是数组(向量)关系上的大事。
插1完毕
好了，以上扯的是啥是线性相关与无关，以及为啥线代要扯这事。下面再扯一扯啥是秩，以及秩与相关性的关系。
1.秩描述的是向量的分布范围，也是线性相关的程度问题。比如有一组向量，如果只要用其中一个向量就能把其它向量都线性表示了，也就是对向量组x₁,x₂…xₙ，如果其中的一个(假设是x₂)可以与其中任何一个向量xₓ都有xₓ=λₓx₂的关系，这组向量的线性相关程度就是1秩的。而此时，这些向量也就分布在一根直线上，它们统统共线。
一组向量可以由一个向量全部线性表示出来，这组向量就是线性相关的，且秩为1，这组向量都在一根直线上， 它们共线。
如果一组向量用任何单独一个向量都不能线性表示出来，但可由两个不共线的向量组合出来，比如上例中总有xₓ=λ₁x₁+λ₂x₂成立，则该组也是线性相关的，但这时的秩就为2了。这时，该组向量分布在由x₁,x₂确定的一个平面上。
2.秩反映了相关性的程度，在一个向量组里，能把组里的各个向量都组合(也叫线性表示)出来所需要的最小向量个数就是该组的秩。
秩越小，向量分布的空间就越狭小，向量就越抱团。秩1时，所有向量集中在一根直线上；秩2时，所有向量平摊在一个平面上，秩3时，所有向量被框在一个3维立体中；秩4或更高时，？？？就不知道咋说了。为了思维能够持续，我们还是先在3维数里打转转吧。所幸，在1,2,3维数里成立的结论，在高维中一般也成立的。
矩阵的秩与向量组的秩是一个意思，就是构成矩阵的列向量的秩。但说到矩阵的秩时其含义比向量组的秩涉及范围更广些，它也指由这些向量为基能张成的那个子空间的秩。比如，秩1时就是一个直线状的子空间，秩2时就张成一个平面状的子空间，秩3时就能张成一个3维立体空间…(约好不谈高维的)。
最后扯秩相同意味着啥。
秩相同意味着向量的相关程度是一样的，意味着向量的分布范围在“形状”上是一样的，也就是在矩阵张成的空间形状上是一样的(线，面，体…)。但要注意一点，它们的分布形状虽然相同，但这些形状相同的区域未必是重合的，比如向量组(矩阵)A,B同秩，都为1，都成直线分布，但两根直线未必重合，它们多半是交叉的；而在秩都为2时，它们都是平面分布的，但两个平面多半又是有夹角的；秩同为3时，它们是各自处在4维空间不同位置的秩3区域。
还有一点要分清，我们说直线分布时，若我们是在3维空间的语境里，则那是一根三维空间的直线，秩为1，但分布在其中的向量还是三维的(每个向量要用三个数字来描述)，秩2的平面是一组三维向量在做一个平面区域的分布，构成秩2等级的相关性，但其维数不变，没有“降维”。
你以后或会听到有人说经过线性变换后，向量被降维或升维了，那是概念不清的乱讲。从来就没有什么降维，只有降秩，降维是对降秩的误读；升维更是无从谈起了，因为没有升秩的变换。这段与答题无关，是打预防针。
这篇答题扯的多的，能看到这也是难为你了。如果真的对你有帮助，清转告其它也在受线代之苦的学人。
二、现在回到B站视频的https://www.bilibili.com/video/BV1ys411472E?p=3
1.线性组合
这个概念再好理解不过，空间中不共线的两个不为零向量都可以表示空间中的任意一个向量，写成符号语言就是：
image.png
至于为什么被称为“线性”，有一种几何直观：如果你固定其中一个标量，让另一个标量自由变化，所产生的向量终点会描出一条直线
2-Linear.gif
2.空间的基 Basis
对于我们常见的笛卡尔坐标系，有一个最直观一组基:i帽，j帽。即单位向量(1,0) 和(0,1)。通过它们的拉伸与相加可以组成笛卡尔坐标系中的任意一个向量。
3.张成的空间 Span
同理，举一反三的来说，我们可以选择不同的基向量，并且这些基向量构成的空间称为：张成的空间。张成二字比较拗口，可以类比为延展或扩展。直观来看，就是所有动图中的网格。笛卡尔坐标系就是一个由单位坐标i帽，j帽 张成的空间。
所有可以表示为给定向量（基）线性组合（刚刚讲了这个概念）的向量的集合，被称为给定向量（基）张成的空间
如果你继续思考一下，会发现一个特点：并不是每一组给定向量都可以张成一个空间，若这两个向量共线（2D），共面（3D），它们就只能被限制在一个直线或面中，类似于“降维打击”。通过这个直观的思考可以引出一个概念：线性相关
4.线性相关
关于什么是线性相关，有两种表达
*【表达一】你有多个向量，并且可以移除其中一个而不减小张成的空间（即2D共线或3D共面），我们称它们（这些向量）线性相关
*【表达二】其中一个向量，可以表示为其他向量的线性组合，因为这个向量已经落在其他向量张成的空间之中
如果从统计学角度来说，这些向量之中有冗余。这一堆向量中，我们只需要其中几个（取决于维度）就可以表示其他所有的向量。
5.向量空间一组基的严格定义
有了这些对名次（概念）的直观理解，来看看数学家们是如何严谨的定义向量空间的一组基：
向量空间的一组基是张成该空间的一个线性无关向量集
用这样的步骤来慢慢导出这个定义，个人感觉，远比在课堂的第一分钟就将这句让你迷惑的话丢给你好的多，抽象的东西只有在慢慢推倒中你才能发现它的精巧之处，非常优雅且迷人。
网友评论