统计学习概述

1.统计学习所做的事

数据--平台--算法--性能提升--应用

也可以这样说:

数据--所有满足条件的模型--评价准则--最优模型--应用

2.处理的问题

分类，标注，预测

3.学习的要素

模型:符合约束条件的模型有哪些？

--假设空间

策略:凭借什么样的准则选择一个模型？

--损失函数，风险函数(期望风险，经验风险，结构风险)

算法:使用什么样的计算方法快速实现策略中的准则？

--最优化

4.模型的评估与选择

奥卡姆剃刀原理

准确率高，简单的模型才是好模型

--训练误差，测试误差，过拟合，泛化能力

5.学习方法和模型的形式

学习方法:

生成模型:由数据学习联合概率分布，再求条件概率分布

判别模型:直接由数据获得决策函数或条件概率

模型形式:

决策函数:由输入变量但输出变量的一个映射关系

条件概率:由输入特征变量到输出变量的条件概率

6.建立一个模型需要考虑的几点

试用的问题:二分类，多分类，回归，标注等

模型的特点:优缺点

模型的类型:生成或判别

学习的策略:极大似然，最大间隔等

损失函数:指数，对数似然函数，距离，合页损失等

学习的算法:随机梯度，EM迭代，前向分步等

算法可能改进的方面: 时间，空间