线性代数笔记16

作者: 大飞哥 | 来源:发表于2019-02-12 21:26 被阅读1次

资料收集
线性代数笔记16
行列式 determinant
关于考试复习及准备的想法
线性代数笔记34
吴恩达机器学习课程学习记录（3.线性代数回顾）
[笔记] 线性代数
线性代数
1.1、方程组的几何解释
数学基础知识系列(线性代数,数理统计)

第十六节

投影

两个特殊的例子，

如果b就A的列空间中，则投影就是本身
如果b垂直于A的列空间，则投影就是一个点，就是个零。

$P=A(A^TA)^{-1}A^T$

对于2来讲，b如果垂直于A的列空间，则b就在A的转置的零空间中
则又 $A^Tb=0$ ，所以又2.

对于1来讲，如果b就在A的列空间内，则b=Ax
则 $Pb=A(A^TA)^{-1}A^Tb=A(A^TA)^{-1}A^TAx=Ax$ ，所以有1.

$p+e=b$
则 $p=Pb，e=(I-P)b$
p是投影，e也是投影，（投影到 $N(A^T)$ ）
e垂直于A的列空间

最优直线

接上一节：

矩阵方程可以写成：
$\begin{bmatrix} 1 &1 \\ 1 &2 \\ 1 &3 \end{bmatrix}\begin{bmatrix} C\\ D \end{bmatrix}=\begin{bmatrix} 1\\ 2\\ 2 \end{bmatrix}$
Ax=b就有对应的了
求最小的e
$Ax-b=e$
求最小，就是向量长度最小化 $||Ax-b||^2=||e||^2=e_1^2+e_2^2+e_3^2$
这就是最小二乘了

解方程：
找到 $\hat x=\begin{bmatrix}\hat C \\\hat D \end{bmatrix}$
带入方程 $A^Tb=A^TA\hat x$
$3C+6D=5\\ 6C+14D=11$
得到
$\begin{bmatrix}\hat C \\\hat D \end{bmatrix}=\begin{bmatrix}2/3 \\1/2 \end{bmatrix}$

带入y=C+Dx
可以求出 $p=\begin{bmatrix}7/6 \\10/6 \\13/6 \end{bmatrix}$
然后 $e=b-p=\begin{bmatrix}-1/6 \\2/6 \\-13/6 \end{bmatrix}$
可以看到p，e的点积为0，因为两个向量是垂直的。

证明

如果矩阵A的各列线性无关，则
$A^TA$ 是可逆的

证明：
如果 $A^TA$ 是可逆的
则 $A^TAx=0$ x只有零解
两边同乘x的转置
$x^TA^TAx=0$
$v^Tv$ 为向量长度的平方
$(Ax)^TAx=0 \rightarrow Ax=0$
又因为A是各列线性无关的，所以x只有零解

命题

互相垂直的单位向量一定线性无关
下一节证明
并看看，标准正交向量组又什么优点，以及如何使向量组标准正交化

资料收集
线性代数 MIT线性代数笔记
线性代数笔记16
第十六节投影两个特殊的例子，如果b就A的列空间中，则投影就是本身如果b垂直于A的列空间，则投影就是一个点...
行列式 determinant
以下为MIT18.06 线性代数第18课笔记，记于2018年12月16日。本文用或者双竖线表示行列式。行列式基本...
关于考试复习及准备的想法
考试复习的准备： MIT - 线性代数～笔记本 xuetangx - 数据结构～笔记本高数 & 线代 &...
线性代数笔记34
34 左右逆和伪逆 MIT—线性代数笔记33 左右逆和伪逆
吴恩达机器学习课程学习记录（3.线性代数回顾）
学过线性代数的朋友们可以略过这节不看，这节老师主要是带着我们复习一下机器学习中涉及到的基本的线性代数知识，笔记嘛，...
[笔记] 线性代数
向量空间集合和组集合和组的区别，这两者都是一堆元素的组合，但集合是无序、不重复的，而组是有序、可重复且长度确定...
线性代数
考研复习笔记-线性代数作者创建时间复习1复习2复习3复习4林加贤2015-08-31 复习时修改笔记，并添加相应...
1.1、方程组的几何解释
html与pdf笔记更新链接(Google云盘) 绪论为了复习线性代数，顺便练习markdown写作，我准备用寒...
数学基础知识系列(线性代数,数理统计)
漫步线性代数系列漫步线性代数一——引言漫步线性代数二——线性方程的几何形状漫步线性代数三——高斯消元法漫步线性...