PDF	VIDEO

[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）

PDF	VIDEO

---

Recipe of Deep Learning

这里写图片描述
这里写图片描述

---

在 training data上的performance不好

这里写图片描述

---

Deeper usually does not imply better

这里写图片描述

---

Vanishing Gradient Problem

这里写图片描述
这里写图片描述
这里写图片描述

---

ReLU（Rectified Linear Unit）

这里写图片描述
这里写图片描述
这里写图片描述

ReLU - variant

这里写图片描述

那么除了ReLU有没有别的activation function了呢？
所以我们用 Maxout来根据training data自动生成activation function
ReLU is a special cases of Maxout

---

Maxout

这里写图片描述

---

ReLU is a special cases of Maxout

这里写图片描述

---

More than ReLU

这里写图片描述
这里写图片描述

---

Maxout - Training

这里写图片描述
这里写图片描述

---

Adaptive Learning Rate

这里写图片描述
这里写图片描述

---

RMSProp

这里写图片描述

---

Hard to find optimal network parameters

这里写图片描述

---

Momentum（gradient descent 融入惯性作用）

这里写图片描述
这里写图片描述
这里写图片描述

所以，加了momentum后：

这里写图片描述

---

Adam

这里写图片描述

---

在testing data上performance不好

这里写图片描述

---

Early Stopping

这里写图片描述

---

Regularization

这里写图片描述
这里写图片描述
这里写图片描述

---

Regularization - Weight Decay

这里写图片描述

---

Dropout

这里写图片描述
这里写图片描述
这里写图片描述

---

Dropout- Intuitive Reason

这里写图片描述
这里写图片描述

---

Dropout is a kind of ensemble

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述