1. 深度学习矩阵论基础

特征值分解

分解得到的Σ矩阵是一个对角阵，特征值变化方向，所对应的特征向量就是描述这个矩阵变化方向。

奇异值分解

分别为左奇异矩阵，对角矩阵，右奇异矩阵

两者关系

2. 最大似然估计

参考链接：https://www.cnblogs.com/charlesblc/p/6257848.html

一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为： P(黑=8)=p^8*（1-p）2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。

可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~

3. 优化算法

https://blog.csdn.net/shanglianlm/article/details/45919679

对偶上升法：初始化λ，并朝着的约束条件的方向不停改变，直到λ不再改变，也即

等于零，此时满足约束条件

** 对偶分解法**

乘子法

image.png

ADMM(Alternating Direction Method of Multipliers)

4. 小波变换

傅里叶变换

Ø 小波变换

优点：
. 瞬时信息、多尺度细化分析
. 基不仅两两正交，还归一化
. 突变信号或任何高维的非三角波信号也可以处理
. 非常少的展开系数

5. 框架分析

基+空间中任意向量，如，
（1 0 0），（0 1 0），（0 0 1）+ 向量（0 1 1）可构成一个框架
优点：表示信号的多样性

6. 范数

通俗理解为距离，不同范数代表不同的距离度量标准，如米、尺均可用来度量距离。
向量范数：大小；矩阵范数：矩阵转换变化大小

向量范数

主要被用来度量向量中非零元素的个数

** 矩阵范数**

（1） L1范数
矩阵最大的SUM(列绝对值)

（2） L2范数
矩阵A的最大奇异值

（3） LF范数
各项平方和之后开根

（4） L无穷大
矩阵最大的SUM(行绝对值)

（5） L1,2
行平方和开根后再按列求和

（6） L2,1
行绝对值和平方后按列求和，再开根

7. 正交匹配追踪

https://blog.csdn.net/theonegis/article/details/78230737

简单描述：选最大贡献、利用最小二乘计算系数、计算残差、下一原子对残差的贡献量……重复……

Y=Ax

b1,b2,b3称之为原子

计算贡献

最大为b1

计算残差

构建新的Anew，重复迭代

问题：如何使

计算Anew的残差