第一章  统计学习方法概论

一、统计学习

1.1.统计学习的特点

    （1）统计学习以计算机与网络为平台，建立在它们之上

    （2）统计学习以数据为研究对象，数据驱动的学科

    （3）统计学习的目的是对数据进行预测与分析

    （4）统计学习以方法论为中心，统计学习方法构建模型并应用模型进行预测和分析

    （5）统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中逐步形成自己的方法论。

1.2.统计学习的对象

    数据

1.3.统计学习的目的

    对数据进行预测和分析

1.4.统计学习的方法

    监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi-supervised learning）、强化学习（reinforcement learning）

    监督学习：从给定的、有限的、用于学习的训练数据（training data）集合出发；假设数据独立同分布；假设要学习的某个模型属于某个函数的集合，称为假设空间（hypothesis space）；应用某个评价标准（evaluation criterition），从假设空间中选取一个最优模型，使它对已知训练数据（test data）在给定评价标准下有最优的预测；最优模型的选取由算法实现。

    统计学习方法三要素：模型（model）、策略（strategy）、算法（algorithm）

    统计学习的方法：

    （1）得到一个有限的训练数据集合

    （2）确定包含所有可能的模型的假设空间，即学习模型的集合

    （3）确定模型选择的准则，即学习的策略

    （4）实现求解最优模型的算法，即学习的算法

    （5）通过学习方法选择最优模型

    （6）利用学习的最优模型对最新数据进行预测或分析   

1.5统计学习的研究

    统计学习方法（statistical learning method）、统计学习理论（statistical learning theory）、统计学习应用（application of statistical learning）

1.6.统计学习的重要性

    略

二、监督学习

2.1基本概念

2.1.1.输入空间、特征空间、输出空间

    输入和输出所有可能的取值分别称为输入空间（input space）和输出空间（outer space）；每个具体的输入是一个实例（instance），通常由特征向量（feature space）表示，所有特征向量存在的空间称为特征空间（feature space），其每维对应一个特征。

    输入和输出变量为连续变量的预测问题为回归问题；输入和输出变量为有限个离散变量的预测问题为分类问题；输入变量和输出变量为变量序列的预测问题称为标注问题。

2.1.2.联合概率分布

    监督学习假设输入和输出的随机变量X和Y遵循联合概率分布P（X，Y）

2.1.3.假设空间

    监督学习的目的在于找到最好的一个表示从输入到输出的映射的模型，它属于由输入空间到输出空间的映射的集合，即假设空间（hypothesis space），假设空间的确定意味着监督学习的范围的确定。

    监督学习的模型可以是概率模型或非概率模型，由概率条件分布P（Y|X）或决策函数Y=f（X）来表示，对具体输入做出预测时计作P（y|x）或y=f（x）

2.2.2.问题的形式化

    监督学习分为学习和预测两个过程，由学习系统和预测系统完成。在学习过程中，利用给定的数据集，通过学习的得到一个模型，表示为条件概率分布P'（Y|X）或决策函数y'=f（X），描述输入与输出随机变量之间的关系。在预测过程中，对于给定的测试样本集的输入xn+1由模型yn+1=argmaxP'（yn+1|xn+1）或yn+1=f'（xn+1）给出相应输出yn+1。

    如果模型有很好的预测能力，训练样本输出和模型输出之间的差就应该足够小。学习系统通过不断尝试，选取最好模型，以便对训练数据有足够好的预测，同时对未知的测试数据集的预测也有尽可能好的推广。