第三章线性映射

作者: 熊文鑫 | 来源:发表于2019-10-23 15:40 被阅读0次

第三章线性映射
人工智能学习笔记-Day11
机器学习和深度学习之数学基础-线性代数第二节矩阵的概念及运算
降维
Sigmoid、ReLU、tanh
8.Kernel SVM
数据结构03-线性表之顺序表
线性代数（2）线性映射
深度学习-基本概念
种地大学生的数据分析笔记：支持向量机（svm）

title: 第三章线性映射
category: 知识点
date: 2019/09/05
mathjax: true

1.定义与例子

定义：从V到W的线性映射是具有以下性质的函数 $T:V \to W$ :
1.加性：对于所有 $u,v\in V$ ，都有 $T(u+v)=Tu+Tv$
2.齐性：对所有 $a\in F,v\in V$ 都有 $T(av)=a(Tv)$

从V到W的所有线性映射所构成的集合记为 $\mathcal{L}(V,W)$

线性映射：位似是线性映射，平移不是线性映射。判断0点不改变。

例子：
零：将V空间中的每一个元素都映射为W空间中的加法单位元。
$0\in \mathcal{L}(V,W)$ , $0v=0$ 左边的零是函数，右边的零是W的加法单元

恒等:
记为 $\mathit{I}$ ,把元素映射为自身。 $\mathit{I}\in \mathcal{L}(V,V)$ $\mathit{I}v=v$

微分:
$T\in \mathcal{L}(\mathcal{P}(R),\mathcal{P}(R)))$ , $Tp=p'$

积分：
$T\in \mathcal{L}(\mathcal{P}(R),R)$ , $Tp=\int_0^1 p(x)dx$

$x^2乘$ : $T\in \mathcal{L}(\mathcal{P}(R),\mathcal{P}(R)))$ , $(Tp)(x)=x^2p(x)$

后向移位: $T\in \mathcal{L}(F^\infty,F^\infty)$ , $T(x_1,x_2,x_3,...)=(x_2,x_3,...)$ .

$从F^n到F^m$ : : $T\in \mathcal{L}(R^3,R^2)$ , $T(x,y,z)=(2x-y+3z,7x+5y-6z)$ .
更一般地，设m和n都是正整数, $a_{j,k}\in F,j=1,...,m,k=1,...,n.$
$T\in \mathcal{L}(F^3,F^2)$ , $T(x_1,...,x_n)=(a_{1,1}x_1+...+a_{1,n}x_n,...,$
$a_{m,1}x_1+...+a_{m,n}x_n)$

线性映射的性质：

加法： $S,T\in \mathcal{L}(V,W)$ ,则 $S+T\in \mathcal{L}(V,W)$ ,且 $(S+T)v=Sv+Tv,v\in V$
标量乘法： $a\in F,T\in \mathcal{L}(V,W)$ ，则 $aT\in \mathcal{L}(V,W)$ ,且 $(aT)v=a(Tv),v\in V$

映射的乘法(一种有意义的向量乘法):
如果 $T\in \mathcal{L}(U,V),S\in \mathcal{L}(V,W)$ ，那么定义 $ST\in \mathcal(U,W)$ :
写法为： $(ST)(v)=S(Tv),v\in V$ |
乘积有意义则T映到S的定义域内。即T的目的地是S的出发地

这个乘法类似于函数的复合，有乘积的大多数常见性质：
1、结合性： $(T_1T_2)T_3=T_1(T_2T_3)$
2、恒等映射： $TI=T,IT=T$ . 第一个I是V上的恒等映射，第二个是W上的恒等映射。
3、分配性质： $(S_1+S_2)T=S_1T+S_2T$ , $S(T_1+T_2)=ST_1+ST_2$
其中， $T,T_1,T_2\in \mathcal{L}(U,V)$ , $S,S_1,S_2\in \mathcal{L}(V,W)$

不符合交换律，例如先加2再乘3，与先乘3再加2是不同的。函数的复合运算也不满足交换律。

2.零空间与值域

定义：对于 $T\in \mathcal{L}(V,W)$ ,V中被T映成0的那些向量所组成的子集称为T的零空间(null space) ,记为null 术语为核(kernel).
$null T=\{v\in V:Tv=0\}$
例如： $T\in \mathcal{L}(\mathcal{P}(R),\mathcal{P}(R)))$ , $Tp=p'$ 只有常函数的倒数才是零函数，于是T的零空间等于常函数之集。

1.多维标量可以组成空间
2.系数维标量的多项式可以组成空间
3.函数与映射可以组成空间
4.空间的特殊子空间为零空间，零空间里的任意向量都被某一映射成W中的零向量。

命题1：

$T\in \mathcal{L}(V,W),则null T 是V的子空间$

命题2：

设 $T\in \mathcal{L}(V,W)$ ,当且仅当null T={0},T 是单的。

“单的”，这里指单映射，或者一对一映射。当Tu=Tv时，u=v,验证：只有0能被映射为0

值域：W中形如Tv的向量所组成的子集。英文range,或者image(象)

$rangeT=\{Tv:v\in V\}$

命题3：

如果 $T\in \mathcal{L}(V,W)$ ,那么rangeT 是W的子空间。

如果rangeT等于W，则线性映射T称为满的。

定理1：

如果 V是有限维向量空间，并且 $T\in \mathcal{L}(V,W)$ ，那么rangeT是W的有限维子空间，并且 dim V=dim nullT + dim rangeT

推论1；

如果V和W都是有限维向量空间，并且dim V>dim W。对于 $T\in \mathcal{L}(V,W)$ ，那么V到W的线性映射一定不是单的。

推论2：

如果V和W都是有限维向量空间，并且dim V<dim W。对于 $T\in \mathcal{L}(V,W)$ ，那么V到W的线性映射一定不是满的。

线性方程组中的结论：

从 $F^n\to F^m$ : 设m和n都是正整数, $a_{j,k}\in F,j=1,...,m,k=1,...,n.$
$T\in \mathcal{L}(F^n,F^m)$ ,
$T(x_1,...,x_n)=\lgroup\sum_{k=1}^{n}a_{(1,k)}x_k,...,\sum_{k=1}^{n}a_{(m,k)}x_k\rgroup$

考虑方程 $Tx=0$ 可以重新写成一个齐次方程组，
$\sum_{k=1}^{n}a_{(1,k)}x_k=0$
$\ldots$
$\sum_{k=1}^{n}a_{(m,k)}x_k=0$

当n>m时，映射不是单的，即变量多余方程时，齐次线性方程必有非零解。

考虑方程 $Tx=c$ 的非齐次方程组，
$\sum_{k=1}^{n}a_{(1,k)}x_k=c_1$
$\ldots$
$\sum_{k=1}^{n}a_{(m,k)}x_k=c_m$

n<m，T不是满的。当方程多余变量时，必有一组常数项使得相应的非齐次线性方程组无解。

3.3线性映射的矩阵

重点：使用矩阵和W的基来有效记录 $Tv_j$ 。
定义矩阵:设m和n都是正整数，一个 $m\times n$ 矩阵是一个有m个行和n各列的矩形阵列，犹如：
$\left[ \begin{matrix} a_{1,1} & \cdots & a_{1,n}\\ \vdots & &\vdots\\ a_{m,1} &\cdots & a_{m,n} \end{matrix} \right] ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (1)$

对于 $T\in \mathcal{L}(V,W)$ ，可以写成 $Tv_k=a_{1,k}w_1+...+a_{m,k}w_m$

由上可以得出V是n维的，W是m维的。

上述由这些a所构成的 $m×n$ 矩阵(1)称为T关于基 $(v_1,...,v_n)$ 和基 $(w_1,...,w_m)$ 的矩阵。记为：
$\mathcal{M}(T,(v_1,...,v_n),(w_1,...,w_m))$

如果基是自明的，只写出了一个基。就可以将上式简写为 $\mathcal{M}(T)$

为了突出T，可以将矩阵定义域和目标空间的基向量加上。定义域在上，目标空间在左。
$\begin{matrix}v_1 & \cdots &v_k \cdots &v_n\\\end{matrix}\\ \begin{matrix} w_1 \\ \vdots \\ w_m\end{matrix} \left[ \begin{matrix} &&&a_{1,k} &&&\\ &&&\vdots&&& \\ &&&a_{m,k} &&& \end{matrix} \right]$

如果T是Fn到Fm的线性映射，考虑的基是标准基(标准正交基：第k个向量的第k个位置是1，其他位置是0)

矩阵加法

$\left[ \begin{matrix} a_{1,1} & \cdots & a_{1,n}\\ \vdots & &\vdots\\ a_{m,1} &\cdots & a_{m,n} \end{matrix} \right] +\left[ \begin{matrix} b_{1,1} & \cdots & b_{1,n}\\ \vdots & &\vdots\\ b_{m,1} &\cdots & b_{m,n} \end{matrix} \right]=\left[ \begin{matrix} a_{1,1}+b_{1,1} & \cdots & a_{1,n}+b_{1,n}\\ \vdots & &\vdots\\ a_{m,1}+b_{m,1} &\cdots & a_{m,n}+b_{m,n} \end{matrix} \right]$

当 $T,S\in mathcal{L}(V,W)$ 时，
$\mathcal{M}(T+S)=\mathcal{M}(T)+\mathcal{M}(S)$

矩阵标量乘法

$c \left[ \begin{matrix} a_{1,1} & \cdots & a_{1,n}\\ \vdots & &\vdots\\ a_{m,1} &\cdots & a_{m,n} \end{matrix} \right] =\left[ \begin{matrix} ca_{1,1} & \cdots & ca_{1,n}\\ \vdots & &\vdots\\ ca_{m,1} &\cdots & ca_{m,n} \end{matrix} \right] .$

当 $c\in F,T\in \mathcal{L}(V,W)$ 时， $\mathcal{M}(cT)=c\mathcal{M}(T)$

矩阵空间：元素在F 中的所有m×n矩阵的集合记为 $Mat(m,n,F)$

复合线性映射用矩阵表示: $\mathcal{M}(TS)=mathcal{M}(T)M(S)$

矩阵乘法解析： $U \to V$ ， $V \to W$
$设\mathcal{M}(T)=\left[ \begin{matrix}a_{1,1}& \cdots &a_{1,n}\\ \vdots && \vdots\\a_{m,1}&\cdots&a_{m,n} \end{matrix} \right], \mathcal{M}(S)=\left[ \begin{matrix}b_{1,1}& \cdots &b_{1,p}\\ \vdots && \vdots\\b_{n,1}&\cdots&b_{n,p} \end{matrix} \right]$
对于 $k\in \{1,...,p\}$ 有
$\begin{align*}TSu_k&=T\lgroup \sum_{r=1}^{n}b_{r,k}v_r\rgroup\\&=\sum_{r=1}^{n}b_{r,k}Tv_r\\&=\sum_{r=1}^{n}b_{r,k}\sum_{j=1}^ma_{j,r}w_j\\&=\sum_{r=1}^{n}\lgroup\sum_{r=1}^na_{j,r}b_{r,k}\rgroup w_j\end{align*}$
定义矩阵乘法：如果A是m×n矩阵，元素为 $a_{j,k}$ ,B是n×p矩阵，元素为 $b_{j,k}$ 。
定义AB是m×p矩阵,其元素为 $\sum_{r=1}^na_{j,r}b_{r,k}$

如何通过基和来表示向量的矩阵

设 $(v_1,...,v_n)$ 是V的基，如果 $v\in V$ ,就存在唯一的一组数 $b_1,...,b_n$
是的 $v=b_1v_1+...+b_nv_n$
v的矩阵是一个n×1矩阵，记为 $\mathcal{M}(v)$ ,写作：
$\mathcal{M}(v)=\left[ \begin{matrix} b_1\\ \vdots \\ b_n \end{matrix} \right]$

线性映射的矩阵，向量的矩阵，矩阵乘法是如何结合在一起的。

命题4：

设 $T \in \mathcal{L}(V,W),(v_1,...,v_n)是V的基，(w_1,...,w_m)是W的基，那么对每个v\in V 都有$ ：
$\mathcal{M}(Tv)=\mathcal{M}(T)\mathcal{M}(v)$
上面： $\mathcal{M}(Tv)是向量Tv关于基(w_1,...w_m)的矩阵，\mathcal{M}(v)是向量v关于基(v_1,...,v_n)的矩阵，\\ \mathcal{M}(T)是线性映射T关于基(v_1,...,v_n)和(w_1,...,w_m)的矩阵$

可逆性

线性映射 $T \in \mathcal{L}(V, W)$ 称为可逆的 (invertible) , 如果存在线性映射 $S \in \mathcal{L}(W, V)$ 使得 ST 等于 V 上的恒等映射，并且TS等于W上的恒等映射满足 ST= I, TS = I 的线性映射 $S∈\mathcal{L}(W, V)$ 称为 T 的逆 (inverse).

命题5：

一个线性映射是可逆的当且仅当它既是单的又是满的.

有可逆线性映射的两个向量空间称为同构的，映射就是把向量空间的元素重新标记了一遍。

定理2：

两个有限维向量空间同构当且仅当它们的维数相等。

命题6：

设 $(v_1,...,v_n)$ 是V的基， $(w_1,...,w_m)$ 是W的基，那么 $\mathcal{M}是\mathcal{L}(V,W)和Mat(m,n,F)之间的可逆线性映射。$

命题7

如果V和W都是有限维的，那么 $\mathcal{L}(V,W)$ 是有限维的，并且 $dim\mathcal{L}(V,W)=(dim V)(dim W).$

$算子：一个空间向量到其自身的线性映射称为算子$
$\mathcal{L}(V)=\mathcal{L}(V,V)$

对于有限维向量空间到齐自身的线性映射，单性和满性中的任何一个都能推出另一个。

定理3

设V是有限维的，如果 $T\in \mathcal{L}(V),那么下列等价：$
(a) T是可逆的;
(b)T是单的;
(c)T是满的.

第三章线性映射
title: 第三章线性映射category: 知识点date: 2019/09/05mathjax: true...
人工智能学习笔记-Day11
非常抽象的线性空间继续举例傅里叶变换属于函数线性空间通过映射将符合线性变换条件的所有映射看做线性空间n维映射具...
机器学习和深度学习之数学基础-线性代数第二节矩阵的概念及运算
本文为原创文章，欢迎转载，但请务必注明出处。上文介绍了线性映射，而与线性映射直接相关的就是矩阵，它决定了线性映射...
降维
1.主成分分析（线性）2.t-SNE（非参数/非线性） 3.萨蒙映射（非线性）4.等距映射（非线性）5.局部线性嵌...
Sigmoid、ReLU、tanh
Sigmoid将输出映射到（0，1）区间，并将线性数据映射到非线性空间 ReLU将输出映射到（0，♾）范围内，本质...
8.Kernel SVM
用于分类非线性分类问题将线性不可分的数据通过一个映射函数，映射到一个高维的空间，使数据线性可分上图的映射就是将...
数据结构03-线性表之顺序表
第三章线性表之顺序表第三章线性表之顺序表一、什么是线性表？1> 概念2> 线性表的基本操作二、线性表的顺序存...
线性代数（2）线性映射
上一章引入的向量空间仅仅是本章的前提，而真正重要的就是线性映射相关的性质。那么现在就开始吧~ （一）线性映射定...
深度学习-基本概念
线性回归向非线性回归的转化 1. 线性回归线性关系描述输入和输出的映射 2. 非线性回归对线性模型引入一个激励...
种地大学生的数据分析笔记：支持向量机（svm）
一、概念：使用一种非线性映射（数据非线性可分时），将原始训练数据映射到较高的维度上，在新的维度上，搜索最佳分离超平...