美文网首页机器学习专题机器学习
第二天、机器学习中的数学基础

第二天、机器学习中的数学基础

作者: 幽并游侠儿_1425 | 来源:发表于2018-07-13 17:29 被阅读884次

    基于视频:七月算法-深度学习课程-5月-第一课:机器学习中的数学

    https://www.youtube.com/watch?v=T0WrSQixuxU&list=PLwTxjmW4U1YSsLZ5OKd67KxtoSdJKAFgE

    一、微积分重点

    1、梯度:多元函数的一阶导数,对各元分别求导。一元函数的时候就是一阶导数。

    2、海森矩阵:多元函数的二阶导数。

    3、二次型:XTAX ,形式对称,用矩阵的形式表示一个多项式。

    比如:

    二次型的重要特点:

    4、泰勒级数

    平衡点:即局部的极值点。

    鞍点:这一点的一阶、二阶导数都等于0。

    一阶导数等于0的点:有可能是:(1)极小值点(二阶导数大于0) (2)极大值点(二阶导数小于0)(3)鞍点(二阶导数等于0)———>其实可以通过画图来理解的。

    (1)泰勒级数的展开(标量):

    极值点:一阶导数等于0

    (2)泰勒级数的展开(矢量):

    极值点:梯度等于0。

    此时,多元函数的二阶导数大于零表示海森矩阵的特征根都大于零。(正定:矩阵的特征值都大于0)

    5、梯度下降法

    求极值点时,求解一阶导数等于零的方程,通常比较难解。

    向量的内积:aTb = ||a||2*||b||2*cos(theta)。theta为函数梯度方向,函数最快上升。theta为函数负梯度方向,函数最快下降。

    优化的核心:方向(负梯度),步长。

    牛顿法:考虑到二阶导数。

    二、概率论重点

    1、随机函数的表现形式:

    (1)分布函数:离散变量

    (2)累积分布函数:连续变量  对概率密度函数求积分

    (3)概率密度函数:连续变量 对累积分布函数求导

    2、高斯分布:

    3、贝叶斯公式:(非常重要)

    贝叶斯公式的小练习:方法:直接带入贝叶斯公式。(吸毒|呈阳性——>呈阳性|吸毒)

    P(结果呈阳性):后验概率

    三、矩阵重点

    1、特征值与特征向量:

    2、对称矩阵的对角化:(机器学习中的样本的协方差都是对称矩阵)

    对称矩阵的特征值一定是实数。

    3、PCA特征分解:

    (1)PCA的本质:就是协方差矩阵的相似对角化

    (2)PCA的推导过程:

    (3)PCA的举例:

    四、凸优化重点

    1、一般约束优化问题:

    2、KKT条件:非常重要

    相关文章

      网友评论

      本文标题:第二天、机器学习中的数学基础

      本文链接:https://www.haomeiwen.com/subject/pstdpftx.html