基于视频:七月算法-深度学习课程-5月-第一课:机器学习中的数学
https://www.youtube.com/watch?v=T0WrSQixuxU&list=PLwTxjmW4U1YSsLZ5OKd67KxtoSdJKAFgE
一、微积分重点
1、梯度:多元函数的一阶导数,对各元分别求导。一元函数的时候就是一阶导数。
2、海森矩阵:多元函数的二阶导数。
3、二次型:XTAX ,形式对称,用矩阵的形式表示一个多项式。
比如:
二次型的重要特点:
4、泰勒级数
平衡点:即局部的极值点。
鞍点:这一点的一阶、二阶导数都等于0。
一阶导数等于0的点:有可能是:(1)极小值点(二阶导数大于0) (2)极大值点(二阶导数小于0)(3)鞍点(二阶导数等于0)———>其实可以通过画图来理解的。
(1)泰勒级数的展开(标量):
极值点:一阶导数等于0
(2)泰勒级数的展开(矢量):
极值点:梯度等于0。
此时,多元函数的二阶导数大于零表示海森矩阵的特征根都大于零。(正定:矩阵的特征值都大于0)
5、梯度下降法
求极值点时,求解一阶导数等于零的方程,通常比较难解。
向量的内积:aTb = ||a||2*||b||2*cos(theta)。theta为函数梯度方向,函数最快上升。theta为函数负梯度方向,函数最快下降。
优化的核心:方向(负梯度),步长。
牛顿法:考虑到二阶导数。
二、概率论重点
1、随机函数的表现形式:
(1)分布函数:离散变量
(2)累积分布函数:连续变量 对概率密度函数求积分
(3)概率密度函数:连续变量 对累积分布函数求导
2、高斯分布:
3、贝叶斯公式:(非常重要)
贝叶斯公式的小练习:方法:直接带入贝叶斯公式。(吸毒|呈阳性——>呈阳性|吸毒)
P(结果呈阳性):后验概率
三、矩阵重点
1、特征值与特征向量:
2、对称矩阵的对角化:(机器学习中的样本的协方差都是对称矩阵)
对称矩阵的特征值一定是实数。
3、PCA特征分解:
(1)PCA的本质:就是协方差矩阵的相似对角化
(2)PCA的推导过程:
(3)PCA的举例:
四、凸优化重点
1、一般约束优化问题:
2、KKT条件:非常重要
网友评论