[吴立德老师《深度学习课程》](http://www.soku.com/search_video/q_吴立德深度学习?f=1&kb=040200000000000__吴立德深度学习&spm=a2hww.20023042.#qheader_search~10)
www.youku.com/playlist_show/id_21508721.html

video lecture: 深度学习暑期学校,2015,蒙特利尔

龙星计划

2012 Graduate Summer School: Deep Learning, Feature Learning，高手云集，深度学习盛宴，几乎所有的DL大牛都有参加

2012Deep Learning Methods for Vision
Deep Learning Methods for Vision(余凯等在cvpr2012上组织一个workshop，关于DL在视觉上的应用)

2013年龙星计划深度学习教程，邓力大牛主讲，虽然老师准备得不充分，不过还是很有收获的。
2013年龙星机器学习邓力的讲课资料，主要侧重于deep learning在语音方面,比较详细。

CS231n: Convolutional Neural Networks for Visual Recognition
CS224n: Natural Language Processing with Deep Learning
贺完结！CS231n官方笔记授权翻译总集篇发布
 【中文字幕】2017春季CS231n 斯坦福深度视觉识别课
 CS231n课程笔记翻译：神经网络笔记
 CS231n课程笔记翻译：卷积神经网络笔记
 斯坦福CS231N深度学习与计算机视觉第七弹:神经网络数据预处理，正则化与损失函数

深度学习（中/英）by Google-Udacity
GitHub - ahangchen/GDLnotes: Google Deep Learning笔记（TensorFlow）
GitHub - ahangchen/GoogleML: Google机器学习教程笔记（基础版）
TensorFlow 深度学习笔记

Google Deep Learning Notes
Hello world
什么造就好的Feature

TUTORIAL ON DEEP LEARNING FOR VISION
Quoc Le’s Lectures on Deep Learning Link（视频）
Deep Learning Master Class
TensorFlow and Deep Learning Tutorials

深层学习与TensorFlow课程

deepforge
github-deepforge

深度学习重要的视频教程汇总：

Deep Learning and Neural Networks with Kevin Duh: course page
NY Course by Yann LeCun: 2014 version, 2015 version
NIPS 2015 Deep Learning Tutorial by Yann LeCun and Yoshua Bengio (slides)(mp4,wmv)
ICML 2013 Deep Learning Tutorial by Yann Lecun (slides)
Geoffery Hinton’s cousera course on Neural Networks for Machine Learning
Stanford 231n Class: Convolutional Neural Networks for Visual Recognition (videos, github, syllabus, subreddit, project, final reports, twitter)
Large Scale Visual Recognition Challenge 2014, arxiv paper
GTC Deep Learning 2015
Hugo Larochelle Neural Networks class, slides
My youtube playlist
Yaser Abu-Mostafa’s Learning from Data course (youtube playlist)
Stanford CS224d: Deep Learning for Natural Language Processing: syllabus, youtube playlist, reddit, longer playlist
Neural Networks for Machine Perception: vimeo
Deep Learning for NLP (without magic): page, better page, video1, video2, youtube playlist
Introduction to Deep Learning with Python: video, slides, code
Machine Learning course with emphasis on Deep Learning by Nando de Freitas (youtube playlist), course page, torch practicals
NIPS 2013 Deep Learning for Computer Vision Tutorial – Rob Fergus: video, slides
Tensorflow Udacity mooc
Oxford Deep NLP Course 2017 (github)
CS 294: Deep Reinforcement Learning, Fall 2017：video
CS 20SI: Tensorflow for Deep Learning Research：video and ppt

Machine learning with Julia and python

×××××××××××××××××××××××
深度学习综述

深度学习-LeCun、Bengio和Hinton的联合综述英文
 深度学习-LeCun、Bengio和Hinton的联合综述（上）
深度学习-LeCun、Bengio和Hinton的联合综述（下）

https://m.aliyun.com/yunqi/articles/110025?spm=5176.8091938.0.0.vTVnUd

深度学习概述：从感知机到深度网络
 A Deep Learning Tutorial: From Perceptrons to Deep Networks

×××××××××××××××××××××××
深度学习经典资源

Yann LeCun's recommendations for Deep Learning self-study

deeplearning.net主页，里面包含的信息量非常多，有software, reading list, research lab, dataset, demo等

Toronto Deep Learning Demos
这是多伦多大学做的一个深度学习用来识别图片标签／图转文字的 demo。是一个实际应用案例。有源码

Deep Learning Tutorials
https://github.com/lisa-lab/DeepLearningTutorials

Deep learning的toolbox，matlab实现的，对应源码来学习一些常见的DL模型很有帮助

matlab下的maxPooling速度优化，调用C++实现的

Deep Learning and Shallow Learning

Deep learning these days

Neural Networks, Manifolds, and Topology

A Statistical View of Deep Learning 用统计学的视角看深度学习，待认真研读

豆瓣上的脑与deep learning读书会，有讲义和部分视频，主要介绍了一些于deep learning相关的生物神经网络

An Introduction to Deep Learning: From Perceptron to Deep Networks

A Deep Learning Tutorial: From Perceptrons to Deep Networks

Deep learning from the bottom up
非常好的深度学习概述，对几种流行的深度学习模型都进行了介绍和讨论

Deep Learning Tutorial by LISA Lab, University of Montreal

Talking Machines hosted by Katherine Gorman and Ryan Adams.

How we’re teaching computers to understand pictures by Fei-Fei Li, Stanford University.
Deep Learning Community

Bengio Y. Learning deep architectures for AI[J]. Foundations and trends® in Machine Learning, 2009, 2(1): 1-127.
Brahma P P, Wu D, She Y. Why Deep Learning Works: A Manifold Disentanglement Perspective[J]. 2015.
Lin H W, Tegmark M. Why does deep and cheap learning work so well?[J]. arXiv preprint arXiv:1608.08225, 2016.
Bengio Y, Courville A, Vincent P. Representation learning: A review and new perspectives[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(8): 1798-1828.

×××××××××××××××××××××××
中文博客笔记

深度学习（Deep Learning）读书思考

超智体
 超智能体－知乎

http://nooverfit.com/wp/

http://blog.csdn.net/hjimce/article/category/3163421
http://blog.csdn.net/column/details/deeplearning.html

一些常见的DL code列表，csdn博主zouxy09的博文，Deep Learning源代码收集-持续更新

Deep Learning-tornadomeet
tornadomeet

FreeMind

夜空中最帅的星

Rachel-Zhang

http://blog.csdn.net/lqfarmer

hjimce算法类博文目录

×××××××××××××××××××××××
英文博客笔记

colah's blog

Café, bonne nuit
acko.net

An Intuitive Explanation of Convolutional Neural Networks
[翻译] 神经网络的直观解释

Machine Learning is Fun! Part 3: Deep Learning and Convolutional Neural Networks

Edward-Tutorials

××××××××××××××××××××××××××××××××××××

余凯
A Tutorial on Deep Learning – Kai YU
http://vipl.ict.ac.cn/News/academic-report-tutorial-deep-learning-dr-kai-yu
Slides link: http://pan.baidu.com/share/link?shareid=136269&uk=2267174042
Video link: KaiYu_report.mp4 (519.2 MB) 见百度云盘

于凯老师是美国归国博士，是baidu多媒体部的副总监。

把机器学习分为了几个时代：
（1）从80年代晚期开始，分类器时代：svm、最大熵等
（2）2000年以后，结构化学习时代：核方法、半监督学习等
特征学习是关键，从前神经网络往往靠tricks
deep learning 取得的一系列成就，both学术界 and 工业界
deep learning的 building block
（1）RBM学习，Layerwise Pre-training
（2）Autoencoder Neural Net
（3）Sparse Coding
Go deeper: Layerwise feature learning
Fine tuning via Backpropogation –  If data are big enough, direct fine tuning is enough
最后谈了如何把算法并行化，谈的不多，不过感觉这个才是deep learning的关键

吴恩达

Machine Learning and AI via Brain simulations_Andrew Ng_2013

Andrew Ng今年三月份在清华做的一篇报告，ppt，109页。

从图像识别，讲特征表示，如：月hi辆摩托车的图像，在电脑中表示为像素矩阵，不过在人脑中，由轮子、把手等各个组件组成。
进一步讲特征表示，如：NLP中，一句话，可以句法分析为一个树状表示，树的每一层，都是一种特征表示。此外，词性标注、wordnet语义等都是特征
指出，特征表示在实际工作中更加重要，并且是难点
特征表示是很难的，一方面我们可以直接表示，构建特征工程，但是很难。另一方面，我们可以用“训练好的算法”表示，如：神经网络。这些算法的结果就表示了特征，但是用来训练算法的方法并不难。
传统的supervise learning，作者对比了几个分类器，当数据量很大的时候，分类器性能相当。所以，实际解决问题的时候，往往不在所用的方法，而在于数据的大小。
缺点：
（1）没有融合先验知识
（2）Unsupervised feature learning有些任务还不能做：video等、层次化的知识表示、活动探测、图像分类
（3）学习到的feature不很直观被理解
deep的含义就是多层神经元网络，每一层代表一种层次的概念，越往下概念的正交性越好，越往上概念的正交性越差，越具有相似度。因为高层概念彼此可能互相包含了相同的基本结构。
高层概念分离出基本结构的方法也很容易理解，就是打散了聚类

Advanced topics + Research philosophy_Andrew Ng_2013
http://helper.ipam.ucla.edu/publications/gss2012/gss2012_10740.pdf

这个和上一个ppt连在一起的。

学习递归的表示方法：用的NLP句法分析任务作为例子
句法分析中，每一个元素（词、词组、短句）都用一个n维实数向量来表示，学习的任务就是学习这些实数向量。逐层句法分析抓变成了每一层都是神经网络，学习任务转成了学习神经网络中的特定节点的值。
参考文献：Distributional representations, or Bengio et al., 2003, Collobert & Weston, 2008
对比parsing sentence and parsing image
“Deep learning” has had two big ideas:
–Learning multiple layers of representation
–Learning features from unlabeled data
Detailed tutorial: http://deeplearning.stanford.edu

2012 Machine Learning and AI via Brain simulations

2011Machine Learning and AI via Brain simulations - Stanford Computer
NIPS - Video Machine Learning and AI via Brain simulations
2013-08-01 Prof. Andrew Ng: “Deep Learning: Machine learning via Large-scale Brain Simulations”

Andrew Ng清华报告 - 基于大规模人脑模拟的机器学习与人工智能

培乐园录—Andrew.ng在清华大学演讲deep learning1

培乐园录—Andrew.ng在清华大学演讲deep learning2

Yann LeCun

Deep Learning Tutorial – Yann LeCun
http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf
http://statlearn.sfds.asso.fr/wp-content/uploads/2015/04/1-Lecun.pdf

Ranzato, Poultney, Chopra, LeCun <<Efficient Learning of Sparse Representations with an Energy-Based Model>>, NIPS’2006

Bengio

Deep Learning:Theoretical Motivations

https://www.youtube.com/watch?v=11rsu_WwZTc

Bengio, Lamblin, Popovici, Larochelle <<Greedy Layer-Wise Training of Deep Networks>>, NIPS’2006
可以看作Yoshua Bengio对06年Hinton工作的延续和总结，与06年的文章很具有互补性，是入门Deep Learning的必备文章
文章中也介绍了一些trick,如如何处理第一层节点为实值的情况等等

其实多层神经网络从前就有，只不过训练方法不当，模型一直没有取得比较好的效果；而相比之下deep learning只是加了pre-training，就效果大大提升。
pre-training是用RBM（Stacking Restricted Boltzmann Machines）做的。在每一对儿相邻层，都可以看做是一个RBM。RBM是无指导（unsuperwise）训练，所以可以从输入层开始，对上一层进行参数训练。当上一层参数训练好了之后，用这些参数，结合具体输入，继续向更上一层做参数训练。这就是stacking RBM的含义。而整个过程称为pre-training。最终训练出来的参数，作为模型参数的初始值，再用传统的bp方法对整个模型进行细调，从而形成最终的模型。

为什么pre-training之后，效果就好了：pre-training可以看做是对p(x)（先验知识）的一种逼近，而p(x)对预测p(y|x)是有很大帮助的。

Deep learning of representations, AAAI 2013 – Bengio
http://www.iro.umontreal.ca/~bengioy/talks/aaai2013-tutorial.pdf

Learning Deep Architecture for AI – Yoshua Bengio
Yoshua Bengio在Deep Learning的综述文章，想要大概了解Deep Learning领域可以先看看这篇。
http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf

《Learning Deep Architectures_Bengio_2009》
http://www.cs.toronto.edu/~fleet/courses/cifarSchool09/slidesBengio.pdf

Bengio 是Deep Learning的领军人物之一了，这个ppt是对其经典论文“Learning Deep Architectures for AI”中内容的描述，共87页。

在deep learning之前，与之有关系的有两种：（1）shallow learning，典型的例子是svm，这些可以看做是有一个隐含层的神经网络，deep learning与之的关键区别是有多个隐含层，而且不是“一般的”多，如，十层；（2）deep neural network，也是包含有多个隐含层的神经网络，不过是用典型的bp算法做训练的，而deep learning引入了pre-training，提升了训练效果。
deep learning的初衷
（1）和当初神经网络一样，仿生学基础
（2）维数灾难问题：当参数太多，没有足够的样本来学习这些参数。
deep learning提供了另一种思路，参数不多，不过通过增加层数来提高网络结构的复杂度。而每提高一层，网络的描述能力就会指数及增加。
（3）高描述能力

Deep Learning Workshop: Foundations and Future Directions-2007

Tutorial on Deep Learning and Applications_Honglak_Bengio_2010

在“NIPS 2010 Workshop on Deep Learning and Unsupervised Feature Learning”上面的ppt。从作者顺序上看，Honglak是Bengio的学生。从ppt的内容上看，绝大部分内容与《Learning Deep Architectures_Bengio_2009》重复，不过思路更加清晰，更加中规中矩。

反向传播算法在传统deep neural network中效果不好的原因
（1）bp算法根据错误沿着梯度方向进行修正参数，错误大小，随着层数的增加而迅速降低，对于网络深层的参数很难得到有效训练
（2）容易陷入局部最优解
（3）bp要求有监督训练，即需要标注语料，而现实中未标注的语料是最多的
deep network training
step1：unsuperwise learning, layerwise training, help the network initialize with good parameters
step2：superwise top-down training
Deep Boltzman Machines：这部分比上一个ppt讲得好点，可操作性强，上一个都是理论

Representation Learning: A Review and New Perspectives – Yoshua Bengio
Yoshua Bengio的在Representation Learning的综述性文章
http://arxiv.org/pdf/1206.5538v2
ppt

Deep Learning论文笔记之（八）Deep Learning最新综述
 Representation Learning-A Review and New Perspectives笔记

https://www.youtube.com/watch?v=9XMlaBoDbY4
http://events.csml.ucl.ac.uk/userdata/masterclasses/bengio/videos/Masterclass_on_Deep_Learning__-__Presenter___Yoshua_Bengio_2013-10-21.html

Representation Learning
Master Class: Yoshua Bengio (21 Oct - 24 Oct 2013)
International Conference on Learning Representations

Deep Learning – Russ Salakhutdinov
https://courses.cs.sfu.ca/2014sp-cmpt-880-g1/pages/ruslan-tutorial1
https://courses.cs.sfu.ca/2014sp-cmpt-880-g1/pages/ruslan-tutorial2
video1
video2

Deep Learning Tutorial at KDD 2014
http://www.cs.toronto.edu/~rsalakhu/kdd.html

Hinton
Vector Institute.

多读论文，但不要读太多，直到你能判断哪些是正确的，哪些是错误的。
当你的直觉足够好的时候，请务必坚持你的想法。直觉不够好，做啥都无所谓。
一定要跟与你想法一致的导师，这样你才能获得更多的建议。

Recent development in deep learning – G. Hinton
http://www.tudou.com/programs/view/Yg9UC1hSTJs/

A Tutorial on Deep Learning – G. Hitton
Slides http://videolectures.net/site/normal_dl/tag=52790/jul09_hinton_deeplearn.pdf
Video http://videolectures.net/jul09_hinton_deeplearn/
Tutorials on Neural Network – G. Hitton
http://www.cs.toronto.edu/~hinton/nntut.html
A fast learning algorithm for deep belief nets
ppt
Hinton的经典之作，Deep Learning的开山之作，算是Deep Learning爆发的起点
翻译A fast learning algorithm for deep belief nets
DBN的理解
 explaining away & Complementary Prior
http://www.cs.purdue.edu/homes/alanqi/Courses/ML-08/Deep_Belief_nets.pptx
A fast learning algorithm for deep belief nets 学习笔记

×××××××××××××××××××××××××××××××××
英文课程和团队

Bengio团队的deep learning教程，用的theano库，主要是rbm系列，搞python的可以参考
 Yann Lecun的2014年Deep Learning课程主页
 Large Scale ML的课程，由Lecun和Langford讲的
 Hinton大牛在coursera上开的神经网络课程，DL部分有不少，非常赞，没有废话，课件每句话都包含了很多信息，有一定DL基础后去听收获更大
 hinton教授的本科生课程CSC321-机器学习中的神经网笔记

Larochelle关于DL的课件，逻辑清晰，覆盖面广,包含了rbm系列，autoencoder系列，sparse coding系列，还有crf，cnn，rnn等。虽然网页是法文，但是课件是英文
 CMU大学2013年的deep learning课程，有不少reading paper可以参考
 达慕思大学Lorenzo Torresani的2017Deep learning课程reading list
2014年ACL机器学习领域主席Kevin Duh的深度学习入门讲座视频

Deep Learning 101

优达到课程

《Hacker's guide to Neural Networks》
许多同学对于机器学习及深度学习的困惑在于，数学方面已经大致理解了，但是动起手来却不知道如何下手写代码。斯坦福深度学习博士 Andrej Karpathy 写了一篇实战版本的深度学习及机器学习教程，手把手教你用 JavaScript** 写神经网络和 SVM.

Deep Learning for NLP (without Magic)，由DL界5大高手之一的Richard Socher小组搞的，他主要是NLP的

视频学习，比如 Deep Learning Simplified

斯坦福Ng团队成员链接主页，可以进入团队成员的主页，比较熟悉的有Richard Socher, Honglak Lee, Quoc Le等
多伦多ML团队成员链接主页，可以进入团队成员主页，包括DL鼻祖hinton，还有Ruslan Salakhutdinov , Alex Krizhevsky等。
蒙特利尔大学机器学习团队成员链接主页，包括大牛Bengio，还有Ian Goodfellow
MILA

纽约大学的机器学习团队成员链接主页，包括大牛Lecun，还有Rob Fergus等
 Charlie Tang个人主页，结合DL+SVM

××××××××××××××××××××××××××××××
书籍

Deep Learning
Ian Goodfellow, Aaron Courville 以及 Yoshua Bengio　三人合著。

Neural Networks and Deep Learning
Neural Networks and Deep Learning- 中文版）Nielsen著名教材
 Neural Networks and Deep Learning- 中文版pdf
Neural Networks and Deep Learning-《神经网络与深度学习》-pdf版本
也许是最好的入门教程
http://michaelnielsen.org/

Neural Networks and Deep Learning学习笔记
 Neural Networks and Deep Learning 学习笔记
 Neural Networks and Deep Learning(神经网络与深度学习) - 学习笔记
 《Neural Network and Deep Learning》学习笔记-hyper-parameters

Machine Learning Year
《MACHINE LEARNING YEARNING》翻译

http://midday.me/article/dc4ac39bf2314436a066cd640b467850
神经网络与深度学习笔记(一)
神经网络与深度学习笔记(二)
神经网络与深度学习笔记(三)

Artificial Inteligence-book-online
Artificial Inteligence-book-pdf

××××××××××××××××××××××××××××××××××
深度学习论文阅读笔记

http://joshua881228.webfactional.com/topic_Computer%20Vision_archive/

zhuwei3014 DL论文阅读笔记

zouxy-Deep Learning论文笔记

××××××××××××××××××××××××××
深度学习理解

深入浅出LSTM神经网络
 RNN以及LSTM的介绍和公式梳理

《CNN 的反向求导及练习》**
介绍:介绍 CNN 参数在使用 bp 算法时该怎么训练，毕竟 CNN 中有卷积层和下采样层，虽然和 MLP 的 bp 算法本质上相同，但形式上还是有些区别的，很显然在完成 CNN 反向传播前了解 bp 算法是必须的。
深度学习BP算法的推导（附加RNN,LSTM的推导说明）
BP浅谈
 神经网络训练中的Tricks之高效BP（反向传播算法）

卷积神经网络的理解
 Demystifying Deep Convolutional Neural Networks
3D visualization CNN
Demystifying Deep Convolutional Neural Networks

卷积神经网络CNN基本概念笔记
 Understanding Convolutions
我对卷积的理解
 图像卷积与滤波的一些知识点
 深度学习（卷积神经网络）一些问题总结
 年糕的日记标签: Deep_Learning
卷积神经网络
 卷积神经网络（Convolutional Neural Network）学习资料
 Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
 Deep Learning（深度学习）学习笔记整理系列之LeNet-5卷积参数个人理解
 Devolutional network阅读笔记
 Visualizing and Understanding Convolutional Networks
How do Convolutional Neural Networks work?
Convolutional Neural Networks with Matlab, Caffe and TensorFlow
DeepLearning_XOexample_Matlab
https://www.optophysiology.uni-freiburg.de/Research/research_DL/CNNsWithMatlab
Deep Learning for Computer Vision with MATLAB
DeepLearning_XOexample_Caffe

Understanding Convolution in Deep Learning

最优化/Optimization文章合集
 Sparsity and Some Basics of L1 Regularization

深度学习读书笔记之RBM（限制波尔兹曼机）
受限玻尔兹曼机（RBM）学习笔记（三）能量函数和概率分布
 tiled卷积神经网络（tiled CNN）

Logistic 回归
 机器学习/CNN系列小问题（1）：逻辑回归和神经网络之间有什么关系？
https://sebastianraschka.com/faq/docs/logisticregr-neuralnet.html

××××××××××××××××××××××××××
深度学习经典论文

Reading List
http://deeplearning.net/reading-list/

Introduction to Deep Learning Algorithms

Gradient-Based Learning Applied to Document Recognition
Yann LeCun的经典文章，CNN开山之作，要了解CNN必先读这篇

Deep Boltzmann Machines
DBM模型开篇文章。

A practical guide to training restricted Boltzmann machines
介绍RBM以及训练RBM时的N多trick,如果要实现RBM算法，这篇文章必看

Learning Multiple Layers of Features from Tiny Images
Hinton学生Alex Krizhevsky的硕士论文，主要是DNN工作的一些串联
Robust Visual Recognition Using Multilayer Generative Neural Networks
Hinton学生Yichuan Tang的硕士论文，DNN视觉识别方面工作的串联

预训练
The Difficulty of Training Deep Architectures and the Effect of Unsupervised Pre-Training
文中主要讨论了深度结构训练的难点，从实验数据的角度分析了预训练的优势，文中有一个有趣的观点，讨论预训练的行为类似于正则化权重矩阵。

Why Does Unsupervised Pre-training Help Deep Learning
文章讨论了无监督学习会帮助Deep Learning的几个方面，提出了Pre-training as a Regularizer的观点，从实验数据中分析，并没有理论的基础，这也是Deep Learning的现阶段最被人诟病的，没有完整的理论体系支撑。

初始化
On the Importance of Initialization and Momentum in Deep Learning
介绍初始化和Momentum技术在deep learning方面的重要性，更多的是在实验分析上

Data Normalization in the Learning of Restricted Boltzmann Machines
RBM训练方面数据处理的小trick,对数据进行零均值化处理使RBM训练更鲁邦。

RELU

On Rectified Linear Units for Speech Processing
ReLU在语音识别上的性能分析
Rectified Linear Units Improve Restricted Boltzmann Machines
介绍ReLU技术在RBM模型上的运用，即非线性层的替换。
ImageNet Classification with Deep Convolutional Neural Networks
2012年Hinton组在ImageNet竞赛上的CNN算法，不过细节不多，里面介绍了网络中使用的trick,特别是relu

Dropout Pooling
Improving Deep Neural Networks For LVCSR using Rectified Linear Units and Dropout
利用ReLU和Dropout技术提升DNN-HMM系统

Dropout Training as Adaptive Regularization
文章从原理上分析dropout技术，等价于自适应的正则化技术

Improving neural networks by preventing co-adaptation of feature detectors
主要讲了Dropout技术和其实验比较结果分析，把Dropout看做模型平均化结果

Improving Neural Networks with Dropout
Hinton学生Nitish Srivastava的硕士论文，主要讨论了Droput技术在神经网络的作用。

Stochastic Pooling for Regularization of Deep Convolutional Neural Networks
提出随机pooling技术，不同于max pooling和average pooling，pooling的形式是随机化选择的，文章观点认为随机pooling技术类似于dropout一样做了正则化作用，等价于输入图像通过加噪声形成很多不同复制训练样本通过max pooling层，有效地防止过拟合

Convolutional Neural Networks Applied to House Numbers Digit Classification
卷积网络用在房屋数字分类的案例，文中采用了LP pooling技术，通过gaussian kernel产生增大stronger特征权重，抑制weaker特征权重的效应。

Convolutional Networks and Applications in Vision
卷积网络在视觉应用的分析，做视觉的应该看看。文中认为分层的思想是视觉应用当中良好的内部表达。文中将卷积网络拆分成
Filter Bank层、非线性层、pooling层进行分析。

Differentiable Pooling for Hierarchical Feature Learning
一种基于高斯方法的Differentiable Pooling提出，阅读这篇文章先要阅读13文章，相比max pooling、average pooling在运用Deconvolution方式进行重构会有一些优势。

梯度算法

On Optimization Methods for Deep Learning
文中讨论了Deep Learning的几种优化方式：SGD、L-BFGS、CG。实验对别了几种优化方式的优缺点。

Deep learning via Hessian-free optimization
目前大部分的Deep learning优化都是基于随机梯度优化算法，本文提出了一种基于Hessian-free的二阶优化算法

Notes on Convolutional Neural Networks
较为详细的卷积神经网络，包括梯度的计算等等
阅读笔记Notes on Convolutional Neural Networks

降维PCA比较
Sparse Feature Learning for Deep Belief Networks
Marc’Aurelio Ranzato提出的一种unsupervised feature learning的方式，这种训练的优势在于低维特性和稀疏特性，文中对比了RBM和PCA方法。

Reducing the Dimensionality of Data with Neural Networks
Hinton发表在science上的文章，主要介绍了如何利用神经网络进行非线性降维，文中对比了PCA线性降维技术

Deconvolution
Adaptive Deconvolutional Networks for Mid and High Level Feature Learning
中层、高层特征无监督的学习方法，通过Deconvolution方式进行重构学习出图像特征。

应用

Visualizing and Understanding Convolutional Networks
卷积网络特征可视化方面的工作，非常有意义的工作，通过Deconvnet的方式来可视化卷积网络层的特征，借助于这些特征可以帮助我们调整模型。

Deep Neural Networks for Object Detection
google用基于DNN（实际是CNN）regression做Object Detection，先析出mask,然后再精确定位。

Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis
实践性的卷积网络方面工作，文中提到如何应对训练数据较少情况的方法可以参考下

Neural Networks Zoo.png

参考文献

http://www.cnblogs.com/tornadomeet/archive/2012/05/24/2515980.html

http://www.wxdl.cn/cloud/suanfa-python-xuexi-ziliao-jiaocheng.html

http://article.yeeyan.org/view/22139/410514

http://qianjiye.de/2014/11/machine-learning-resources/

深度学习进阶资料(待续)

北大人工智能公开课

C语言卷积网络实现包darknet

DL不仅学习表示（representation），也学习映射（mapping）.

hjimce算法类博文目录

参考文献

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

深度学习与机器学习

汇总

机器学习与模式识别

深度学习

深度学习资料

tensorflow

我爱编程