PDF	VIDEO

[机器学习入门] 李宏毅机器学习笔记-9 （“Hello world” of deep learning；初探深度学习）

PDF	VIDEO

Keras

这里写图片描述
这里写图片描述

---

Example Application - Handwriting Digit Recognition

这里写图片描述

---

Step 1 : define a set of function

这里写图片描述

---

Step 2 : goodness of function

这里写图片描述

---

Step 3 : pick the best function

这里写图片描述

---

x_train, y_train

这里写图片描述

---

batch_size & epoch

这里写图片描述
这里写图片描述

---

Speed

这里写图片描述
这里写图片描述

---

Speed - Why mini-batch is faster than stochastic gradient descent?

这里写图片描述
这里写图片描述
对GPU来说，让它做上述两个运算，所用的时间几乎是一样的，在矩阵相乘中的每一个元素，都是可以并行运算的，所以上面用的时间会变成下面的两倍，所以GPU+mini-batch会使效率大大提升。

---

Shuffle the training examples for each epoch

这里写图片描述

---

Analysis

这里写图片描述
这里写图片描述
这里写图片描述