机器学习技法（三）

《机器学习技法》是国立台湾大学林轩田讲授的一门课程，课程的上集是《机器学习基石》。相关资源可以在youtube找到，也可在评论区索要云盘链接。本文主要是我学完一遍基石&技法后的笔记梳理，如果存疑请以原课程讲授内容为准，欢迎讨论~[注]本文仅适用于帮助复习，不适用于代替视频课程。

技法分为3个部分，分别为

● 核模型：嵌入大量特征（6小节）

● 融合模型：融合预测性特征（5小节）

● 抽取模型：提取隐性特征（4小节）

本文主要梳理第三部分。

三 抽取模型：提取隐性特征

1神经网络（多层融合、模式抽取）

1.1启发

1.1.1一层perceptrons（线性投票）

1.1.2多层perceptrons

1.2神经网络

1.2.1每一层的转换tanh函数

每一层接受一个加权分数，用tanh转换得到本层的神经元。

1.2.2输出 一个简单线性模型

1.2.3神经网络全貌

物理意义：

1.3 w的训练

1.3.1最后一层的偏微分

1.3.2中间层的偏微分

综上，先算最后一层的偏微分，再反向地算中间层的偏微分。每一层通过各自的随机梯度做梯度下降，逐步优化本层的w

1.4神经网络的VC维度

1.5神经网络的正则化

1.5.1加正则项

L2正则化存在以下问题：

解决方式：

1.5.2早停止

2深度学习（deep NNet）

2.1例子

2.2问题

2.3 optimazation problem：pre-training

2.3.1希望预训练得到的w是保留原信息的

autoencoder：

2.3.1.1优点：

2.3.1.2基本形式

2.3.2基于autoencoders的pre-Trainning

2.4 complexity problem：regularization

2.4.1继承NN的方法

2.4.2去杂讯：denoisingautoencoder

2.5线性autoencoder

deep learning用的是tanh

autoencoder，如果不是用于DL，那可以用线性autoencoder

2.5.1最优化

矩阵分解：

最优化г：

最优化V：

2.5.2线性autoencoder算法（主成分分析）

作用：通过线性组合的方式对资料进行降维。

3 Radial Basis Function Network径向基函数网络（基函数的融合）

3.1定义

与NN的不同（由于区别较小，过去它被当作一种特殊的NN）：

3.2高斯SVM

它其实就是一个RBFN：

3.3距离的物理意义

3.4 Full RBF Network基于全部点的RBF网络

3.4.1μ：所有点

3.4.2β：独裁

3.4.3β：插值法

3.4.4正则化

3.4.4.1惩罚β：

3.4.4.2减少μ：

选议员是一个分群问题

3.4.4.1分群最优化

3.4.4.2代表最优化

3.4.4.3 k-Means算法

例子：

3.4.5采用k-Means算法的RBF网络

例子：

离中心点越近的点产生的影响越大。

与full RBF network的比较

中间是4-means RBFN结果，左右两幅是full RBFN

4 Matrix Factorization矩阵分解

案例

4.1二元向量编码

对本案例电影资料进行编码：

4.2用线性网络进行预测

4.2.1实质：矩阵分解

4.2.2矩阵分解学习

4.2.2.1交替最小平方法

4.2.2.1.1思路

4.2.2.1.2算法

4.2.2.1.3与Linear Autoencoder的比较：

4.2.2.2随机梯度下降法

4.2.2.2.1思路

4.2.2.2.2算法

4.2.2.2.3应用

5总结

5.1模型结构

5.2技法

5.3优缺点

四 大总结

1特征的利用方法

1.1通过核利用大量特征(xn)

1.2通过融合利用预测特征(gn)

1.3通过特征分解利用隐藏特征

1.4通过压缩利用低维特征

2最优化

2.1通过梯度下降进行数值最优化

2.2通过等价法进行间接最优化

2.3通过分步法进行复杂最优化

3消除过拟合

3.1通过正则化（刹车）消除过拟合

3.2通过验证（仪表板）消除过拟合

4 KDDCup经验

5 2006年算法排名