统计学习方法定义

统计学习方法可以概括如下：从给定的、有限的、用于学习的训练数据(training)集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间(hypothesis space)；应用某个评价准则(evaluation criterion)，从假设空间中选取一个最优模型，使它对已知的训练数据及未知的测试数据(test data)在给定的评价准则下有最优的预测；最优模型的选取由算法实现。这样，统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法。称其为统计学习方法的三要素，简称为模型(model)、策略(strategy)和算法(algorithm)。

实现统计学习方法的步骤如下：

1、得到一个有限的训练数据集合；

2、确定包含所有可能的模型的假设空间，即学习模型的集合；

3、确定模型选择的准则，即学习的策略；

4、实现求解最优模型的算法，即学习的算法；

5、通过学习方法选择最优模型；

6、利用学习的最优模型对新数据进行预测或分析。