[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习）

PDF	VIDEO

---

Introduction

这里写图片描述

---

Why semi-supervised learning helps?

这里写图片描述

Semi-supervised Learning for Generative Model

Supervised Generative Model VS Semi-supervised Generative Model

这里写图片描述 这里写图片描述

Step

这里写图片描述

Why？

这里写图片描述

---

Low-density Separation

这里写图片描述

Self-training

这里写图片描述 这里写图片描述

---

Entropy-based Regularization

这里写图片描述

---

Outlook: Semi-supervised SVM

这里写图片描述

---

Smoothness Assumption

核心思想：近朱者赤，近墨者黑

这里写图片描述 这里写图片描述

Classify astronomy vs. travel articles

这里写图片描述 这里写图片描述

更多的数据连在一起，很难分类，那么如何做呢？

Cluster（群集 ） and then Label

这里写图片描述

这种方法不一定made sense ，需要class很强。
But，How to know x1 and x2 are close in a high density region (connected by a high density path)
还有另一种方法：

Graph-based Approach

这里写图片描述

Graph Construction

这里写图片描述 这里写图片描述

怎样在Graph 中定量地表示平滑度

这里写图片描述

将该式子整理一下，换个形式

这里写图片描述

如此，让smoothness 影响Loss，as a regularization term

这里写图片描述

smoothness不一定要放在output上，放到任何一层都可以。

---

Better Representation

去蕪存菁，化繁為簡
Looking for Better Representation

这里写图片描述