第一周——深度学习概述
1、什么是神经网络
(1)单神经元的网络 => 感知机/单层NN => MLP/ANN/BPNN。
(2)通过组合一些低层次的特征得到更高层次的特征,例如通过house size和bedroom数目推测该房屋可作为几口之家,然后利用高层抽象的特征去做预测。
(3)NN的输入为特征向量,这些特征可以表示该样本;NN做特征的自动抽取。
(4)要给够数据,基于input-output pair以监督学习的方式训练NN,NN作为函数近似机,能够找到最佳函数,拟合数据,学到输入输出对中所蕴藏的那个函数。
2、用NN进行监督学习
(1)目前DL产生的经济效益绝大部分都来自于监督学习,即以监督学习的方式训练得到一个model,然后用这个model做预测,来解决现实世界中的实际问题。
(2)将通过监督学习得到的End-to-End组件嵌入到更大型的系统中。
(3)结构化的数据,例如数据库中的表,或者CSV文件,那种每一个特征都有明确定义的input sample和output label;非结构化数据,音频、图片和文本等,由于DL,现在计算机也可以比较好地理解这些非结构化数据了。
(4)DL创造的经济效益更多来自于结构化数据,例如做一个更好的在线广告推荐系统。
3、为什么深度学习会兴起
(1)Scale drives deep learning progress,数据的规模和NN的规模。
(2)统计学习方法非常依赖于手工设计的特征。
(3)更多的数据+计算力的提升,是早期DL取得很大进展的两个原因。
(4)最近,算法方面也有了很多创新,趋势就是更少的数据(例如远程监督、半监督学习、RL、GAN等),更少的模型参数(例如RNN不同时刻复用同一套参数和CNN的权值共享),更少的超参(参考AlexNet=>VGG-16),NN更快的训练速度(例如通过ReLU引入非线性,能够加速DL模型的训练过程)。
(5)搞机器学习是一个不断迭代不断实验的过程,idea => code => experiment,通过实验去验证idea是否可行,去尝试更多的想法,去改进idea。
网友评论