美文网首页就是杨宗的学习记录
吴恩达DL课程学习笔记——NN & DL(第一周)

吴恩达DL课程学习笔记——NN & DL(第一周)

作者: 就是杨宗 | 来源:发表于2018-06-08 16:14 被阅读59次

    第一周——深度学习概述

    1、什么是神经网络

    (1)单神经元的网络 => 感知机/单层NN => MLP/ANN/BPNN。
    (2)通过组合一些低层次的特征得到更高层次的特征,例如通过house size和bedroom数目推测该房屋可作为几口之家,然后利用高层抽象的特征去做预测。
    (3)NN的输入为特征向量,这些特征可以表示该样本;NN做特征的自动抽取。
    (4)要给够数据,基于input-output pair以监督学习的方式训练NN,NN作为函数近似机,能够找到最佳函数,拟合数据,学到输入输出对中所蕴藏的那个函数。

    2、用NN进行监督学习

    (1)目前DL产生的经济效益绝大部分都来自于监督学习,即以监督学习的方式训练得到一个model,然后用这个model做预测,来解决现实世界中的实际问题。
    (2)将通过监督学习得到的End-to-End组件嵌入到更大型的系统中。
    (3)结构化的数据,例如数据库中的表,或者CSV文件,那种每一个特征都有明确定义的input sample和output label;非结构化数据,音频、图片和文本等,由于DL,现在计算机也可以比较好地理解这些非结构化数据了。
    (4)DL创造的经济效益更多来自于结构化数据,例如做一个更好的在线广告推荐系统。

    3、为什么深度学习会兴起

    (1)Scale drives deep learning progress,数据的规模和NN的规模。
    (2)统计学习方法非常依赖于手工设计的特征。
    (3)更多的数据+计算力的提升,是早期DL取得很大进展的两个原因。
    (4)最近,算法方面也有了很多创新,趋势就是更少的数据(例如远程监督、半监督学习、RL、GAN等),更少的模型参数(例如RNN不同时刻复用同一套参数和CNN的权值共享),更少的超参(参考AlexNet=>VGG-16),NN更快的训练速度(例如通过ReLU引入非线性,能够加速DL模型的训练过程)。
    (5)搞机器学习是一个不断迭代不断实验的过程,idea => code => experiment,通过实验去验证idea是否可行,去尝试更多的想法,去改进idea。

    相关文章

      网友评论

      本文标题:吴恩达DL课程学习笔记——NN & DL(第一周)

      本文链接:https://www.haomeiwen.com/subject/ddyasftx.html