姓名：王正帅
学号：14020120007
转载自：mp.weixin.qq.com/s ，有删节
【嵌牛导读】：今年 8 月份，机器之心推荐了斯坦福 2017 CS231n 春季课程。近日，斯坦福公开了 STATS 385 秋季课程（还未结课，10.11-12.16)，主题为《深度学习理论》，相关的课件资源也已放出（部分视频公开），希望能为大家寻求课程资源提供帮助。
【嵌牛鼻子】：斯坦福 2017 CS231n 春季课程、《深度学习理论》
【嵌牛提问】：如何学好深度学习？本次提供的课程有哪些推荐内容？
【嵌牛正文】：
1、课程介绍
深度学习最近的成就很大程度上基于经验，不过，学者们总是在试图在理论层面上解释发展背后的原因。在斯坦福大学新推出的课程《Theories of Deep Learning》中，我们将从讲师 Bruna、Mallat、Mhaskar、Poggio、Papyan等人那里，试图建立神经网络背后的理论体系。在最初的背景介绍课程之后，几个论文作者将对自己的工作进行专门讲解。本课程共有 10 讲，每周上一次课。
该课程主要可以分为四部分，即回顾深度学习的概念、复习深度学习的理论方法、然后再讨论具体的理论贡献和最后三个课程的理论分析。
该课程主要围绕五个主题讨论，即统计机器学习、最优化理论、逼近理论和 Harmonic 分析和神经科学。可能我们比较熟悉的就是统计机器学习和最优化方法，他们确实能解释深度学习具体算法到底是如何工作的，但并不足以构建深度学习的理论基石。
该课程开篇先讨论了深度学习的挑战，即它到底是不是有理论依据。当然这里并不是说深度学习算法没有理论推导与分析，而是说该领域是不是存在一个普遍的理论基础，它应该拥有逻辑自洽和可解释性。这一部分的课程先解释了深度学习目前所出现的问题，例如它的黑箱问题、理论可解释性问题等等。随后介绍了试图构建相关理论的方法，如神经科学、谐波分析（Harmonic analysis）、逼近理论、统计机器学习。
2、尝试使用神经科学的观点解释视觉与卷积神经网络
前面既然已经了解到了深度学习的局限性，那么第二课就具体讨论了深度学习（主要以 CNN 为例）所涉及的概念与理论。这一部分从最基本的感知机单元（现在已有另外一个基本单元 Capsule）开始，详细介绍了各主流 CNN 框架与常用的训练技巧，如正则化、批量归一化（BN）和最优化方法等。
下面我们简要地展示了这一部分课程的内容。我们知道感知机是深度神经网络的基本构成单元，它是构成目前所有架构的基础，包括最近 Hinton 开放的 Capsule 单元也只是利用一组神经元以表征向量。而组织这些基本单元的架构就是整个神经网络的结构，一般这些神经元会有正向和反向传播两种路径，正向传播以给定输入数据做出推断，而反向传播误差以更新网络。
3、总结
总的来说，该课件的前两个是组织者对人工智能发展的总结以及对该课程的介绍。从第三课开始，讲师开始对深度学习的一些概念做详细介绍：从卷积神经网络到生成模型、动态规划&EM 等等。
网友评论