统计学习三要素

前言

统计学习的方法由三个要素组成，它们分别是：模型、策略和算法。换句话说，一个统计学习的方法如果模型、策略和算法都确定了，那么这个统计学习的方法也是确定唯一的了。

模型

在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。

假设空间( hypothesis space)

模型的假设空间是特定模型下包含了所有可能的条件概率或决策函数的集合。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合，假设空间一般有无穷多个。

F = {f|Y=fn(X) , n 属于 R^n}

其中，参数向量n取值于n维欧氏空间R^n，称为参数空间。

策略

有了模型的假设空间，统计学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。

算法

算法是指学习模型的具本计算方法。统计学习基于训练数据，根据模型获取假设空间，然后根据策略从假设这间中选择最优模型，最后需要考虑的是用什么计算方法，求解这个最优模型。

这就是算法。