1. 深度学习矩阵论基础
特征值分解
分解得到的Σ矩阵是一个对角阵，特征值变化方向，所对应的特征向量就是描述这个矩阵变化方向。
奇异值分解
分别为左奇异矩阵，对角矩阵，右奇异矩阵
两者关系
2. 最大似然估计
参考链接：https://www.cnblogs.com/charlesblc/p/6257848.html
一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为： P(黑=8)=p8*（1-p）2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。
可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~
3. 优化算法
https://blog.csdn.net/shanglianlm/article/details/45919679
对偶上升法：初始化λ，并朝着的约束条件的方向不停改变，直到λ不再改变，也即
等于零，此时满足约束条件
** 对偶分解法**
乘子法
image.png
ADMM(Alternating Direction Method of Multipliers)
4. 小波变换
傅里叶变换
Ø 小波变换
优点：
. 瞬时信息、多尺度细化分析
. 基不仅两两正交，还归一化
. 突变信号或任何高维的非三角波信号也可以处理
. 非常少的展开系数
5. 框架分析
基+空间中任意向量，如，
（1 0 0），（0 1 0），（0 0 1）+ 向量（0 1 1）可构成一个框架
优点：表示信号的多样性
6. 范数
通俗理解为距离，不同范数代表不同的距离度量标准，如米、尺均可用来度量距离。
向量范数：大小；矩阵范数：矩阵转换变化大小
向量范数
主要被用来度量向量中非零元素的个数
** 矩阵范数**
（1） L1范数
矩阵最大的SUM(列绝对值)
（2） L2范数
矩阵A的最大奇异值
（3） LF范数
各项平方和之后开根
（4） L无穷大
矩阵最大的SUM(行绝对值)
（5） L1,2
行平方和开根后再按列求和
（6） L2,1
行绝对值和平方后按列求和，再开根
7. 正交匹配追踪
https://blog.csdn.net/theonegis/article/details/78230737
简单描述：选最大贡献、利用最小二乘计算系数、计算残差、下一原子对残差的贡献量……重复……
Y=Ax
b1,b2,b3称之为原子
计算贡献
最大为b1
计算残差
构建新的Anew，重复迭代
问题：如何使
计算Anew的残差
网友评论