这本书主讲的内容包括：
1.统计学习的定义、研究对象与方法；
2.监督学习
3.统计学习方法的三要素：方法=模型+策略+算法
4.介绍模型选择，包括正则化、交叉验证与学习的泛化能力
5.介绍生成模型与判别模型
6.监督学习方法的应用：分类问题、标注问题、回归问题
1.1 统计学习
1.统计学习的目的：考虑什么样的模型、如何学习该模型、尽可能优化模型提高效率
2.假设空间：假设要学习的模型的属于某个函数集合，学习模型是H(x)
3.统计学习方法的步骤：得到有限的训练数据集合、确定包含所有模型的假设空间、确定模型的选择准则，即学习方法、实现求解最优模型的算法，即学习的算法、通过学习算法选择最优模型、利用最优模型最数据进行预测和分析。
1.2监督学习
4.特征空间：输出的实例由特征向量表示X=(x1,x2,...,xn)，特征向量存在的空间是特征空间
5.回归问题：输入变量和输出变量均为连续变量的预测问题
6.分类问题：输出变量为有限个离散变量的预测问题
1.3统计学习的三要素
7.模型：假设空间
8.策略：引入损失函数或代价函数的概念
(1)损失或者代价函数：度量模型的一次预测的好坏
(2)风险函数：度量平均意义下模型的好坏
(3)经验风险：模型f(x)关于训练数据集的平均损失
9.经验风险最小化与结构风险最小化
(1)经验风险最小化：平均损失最小，模型达到最优化
(2)结构风险最小化：经验风险最小化+惩罚项（防止过拟合）
1.4模型评估与模型选择
10.测试误差：当损失函数给定时，基于损失函数的模型的测试误差（测试样本）
11.训练误差：当损失函数给定时，基于损失函数的模型的训练误差（训练样本）
（两者都需要确定下来损失函数）
12.过拟合:意为追求提高训练数据的预测能力，所选模型的复杂度则往往比真模型高。为了防止过拟合我们引入惩罚项，使高次项减少来降低模型的复杂度。
1.5正则化与交叉验证
13.正则化：正则化是结构风险的最小化策略的实现，即结构风险=经验风险+正则化
正则化项可以是参数向量化的L2范数或者L1范数：
14.交叉验证：训练集、验证集、测试集
(1).训练集：训练模型
(2).验证集：用于模型的选择
(3).测试集：用于对最终方法的评估
1.6泛化能力
15.学习方法的泛化能力：是指由该方法学习到的模型对未知数据的预测能力。
16.泛化误差：所学习到的模型的期望风险
17.泛化误差上界的性质：
(1)样本容量增加，泛化误差上界趋于0(这样泛化能力越强)；
(2)假设空间容量越大，模型越难学，泛化误差上界也越大;
1.7生成模型和判别模型
18.监督学习方法：生成方法和判别方法
生成方法->生成模型
判别方法->判别模型
生成模型：数据学习联合概率P(X,Y)然后求出条件概率作为预测的模型(NB、HMM)
判别模型：直接学习决策函数f(x)或者条件概率p(y|x)，关心的是给定的x预测输出什么样的y（KNN SVM、logist、感知机、DT）
1.8分类问题
重点关注2分类问题
1.9标注问题
标注问题也是监督学习问题。标注问题的输入是观测序列，输出是标记序列或者状态序列。
详述见书20页
2.0回归问题
学习系统和预测系统
网友评论