1 机器学习

从原始数据中提取模式的能力，这种能力被称为机器学习。
早期的机器学习算法有逻辑回归和朴素贝叶斯。并且应该在生活中有所应用，如是否建议刨妇产以及垃圾邮件的检测。
机器学习包括深度学习，还包括其他算法。

2 深度学习的发展趋势

路线：控制论——联结主义——现代

• 50年代，一开始提出的模型基于控制论，如感知机（1958），它有一个缺陷就是无法表示复杂函数如抑或；

• 80年代，人们开始思考基于联结主义的方法。联结主义的核心思想是：当网络中有大量简单的计算单元连接在一起时，可以实现智能行为。

  1. 分布式表示
  2. 反向传播（1986）
  3. LSTM（1997）

• 90年代中期，神经网络再次衰落：无法实现；核方法，图模型的崛起。

• 2006年之前，人们认为神经网络难以训练，但依然有一些人在坚持.

  1. Hinton，深度信念网络：用贪婪逐层预训练的策略，进行网络的训练。

• 2016年，深度学习应该有很好的应用。

  1. 5000个标注数据，可以让神经网络有可接受的能力；
  2. 100万个标注数据，可达到或超过人类表现。
  3. 挑战：更小的数据集上获得成功。

2019.3.31更新
恭喜Bengio,Hinton,LeCun获得2018年图灵奖。

参考文献：
深度学习6