机器学习第二周学习笔记

作者: xumingmingv | 来源:发表于2018-05-13 23:11 被阅读24次

    新词

    • Polynomial Regression: 多项式回归
    • quadratic: 二次的,二次方程式
    • cubic: 立方体的;立方的
    • square root function: 平方根函数
    • normal equation
    • multivariable linear regression
    • Feature Scaling
    • Zero Mean: 零平均值
    • Standard Variation: 标准方差
    • Vectorization: 向量化

    感悟

    Feature Scaling: 我的理解是因为要把不同的因子放到同一个公式下面,那么这些因子(Feature)必须要在同一个尺度,要在the same page,很好理解。

    Andrew Ng在好几个视频里面都说"to give some intuition" -- 给你一些直观感觉,我觉得这种角教法特别的好,不管背后的理论多么坚深,有了直观感觉之后会很帮助理解。

    Normal Equation是另外一种寻找最佳参数的方法,它不像梯度下降(Gradient Descent)那样通过步步逼近的方法来找最优值,它是通过公式,直接得到答案。因此好处和坏处也很明显,因为不是所有的算法都有对应的公式能够一步求解,因此Normal Equation的适用范围比较小,而且当feature的个数超过一千之后,用机器来直接通过矩阵运算来求职就很慢了。而Gradient Descent是一种更通用的算法,因此它的适用范围更广,小小的缺点是当feature数小的时候可能没有Normal Equation快,但是当数据量大了,Feature数大了之后,它的优势就会显示出来了。 Normal Equation不用去做Feature Scaling,因为它是直接求方程的解嘛,当然不用,我个人觉得这不算什么优点。

    数学知识对于机器学习确实很重要,否则拿到一份数据,看到数据分布之后,你都不知道你大概要用什么算法,是Linear Regression 还是Logistic Regression? 还是Classification?

    Mean normalization是Feature Scaling的一种,它的目的是让Feature所有值的平均值为0。Learing Rate: 机器学习Debug过程当中一个很重要的事情就是找到合适的Learning Rate(阿尔法), 如果Learning Rate过小,那么收敛得就太慢,如果过大呢,可能不会收敛,或者出现交替收敛的现象。

    Vectorization: 之前就经常听到一种优化手法叫向量化,之前只是记住了这么一个词,现在终于理解它是怎么优化的了,所谓向量化就是把一些重复的数学计算抽象成两个向量之间的计算,抽象的好处是向量之间的计算可以由软件库自动做一些优化,比如利用硬件的并行能力进行并行计算(这应该也是GPU现在在机器学习里面这么流行的原因)。抽象之后使得我们普通用户/开发不用去手动去写这些优化。

    相关文章

      网友评论

        本文标题:机器学习第二周学习笔记

        本文链接:https://www.haomeiwen.com/subject/axmrdftx.html