Week 2

作者: 锦鼠观天 | 来源:发表于2018-09-11 20:16 被阅读16次

    范数

    因为数值分析课程接触到范数的概念,想知道它到底有什么用,正好这篇文章提到它在机器学习中的作用。

    L1范数是指向量中各个元素绝对值之和,也有个美称叫“稀疏规则算子”(Lasso regularization)。
    任何的规则化算子,如果他在Wi=0的地方不可微,并且可以分解为一个“求和”的形式,那么这个规则化算子就可以实现稀疏。这说是这么说,W的L1范数是绝对值,|w|在w=0处是不可微,但这还是不够直观。这里因为我们需要和L2范数进行对比分析。
    除了L1范数,还有一种更受宠幸的规则化范数是L2范数: ||W||2。它也不逊于L1范数,它有两个美称,在回归里面,有人把有它的回归叫“岭回归”(Ridge Regression),有人也叫它“权值衰减weight decay”。这用的很多吧,因为它的强大功效是改善机器学习里面一个非常重要的问题:过拟合。

    plotly

    之前见过不少的js的可视化库,这次偶然机会看到plotly,它有python借口,使用起来会比较顺畅。官方的教程写的很清楚了,可以直接参考。

    论文

    相关文章

      网友评论

          本文标题:Week 2

          本文链接:https://www.haomeiwen.com/subject/shhpgftx.html