1.1引言

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。

计算机从数据中产生模型的算法称为学习算法。生活中，我们可以基于经验作出预判。而在计算机系统中，利用学习算法，基于数据产生模型，通过模型做出判断。

1.2专业术语

示例/样本:关于事件或对象的描述(这里指一个西瓜)

属性:表示事件或对象在某方面的表现或性质(例如西瓜的色泽，根蒂，敲声)

属性值:属性上的取值(例如青绿，乌黑)

属性空间/样本空间/输入空间:属性张成的多维空间

学习/训练:从数据中学得模型的过程

要建立关于预测的模型，我们需要获得训练样本的结果信息。比如((色泽=青绿;根蒂=蜷缩;敲声=浊响)，好瓜)中，“好瓜”称为标记，拥有标记信息的示例称为样例。

若预测的是离散值，此类学习任务称为分类，若预测的是连续值，此类学习任务称为回归。对西瓜做“聚类”将训练集中的西瓜分为若干组，每组称为一个簇，这些自动形成的簇可能存在潜在的概念划分。

在学得f后，对测试样例x，可得到y=f(x)。

根据训练数据是否有标记信息，学习任务可以分为监督学习和无监督学习。分类和回归是前者的代表，聚类是后者的代表。

学得模型适用于新样本的能力，称为泛化能力

1.3假设空间

归纳:从特殊到一般的泛化过程，即从具体的事实归结出一般性规律。

演绎:从一般到特殊的特化过程，即从基础原理推演出具体状况。

把学习过程看成在所有假设组成的空间中搜索的过程，目标是找到能够将训练集中所有瓜判断正确的假设，假设的表示一旦成立，假设空间的大小就能确定。

假设色泽，根蒂，敲声分别有3,2,2种可能取值，那么假设空间规模大小为4*3*3+1=37(4表示色泽除了可以取3个值中的任意一个，有3种情况，还包含1种无论取哪个值都合适的情况，用通配符*号表示。1表示极端情况：好瓜这个概念根本不成立)

1.4归纳偏好

归纳偏好/偏好:机器学习算法在学习过程中对某种类型假设的偏好

无论学习算法a多聪明，学习算法b多笨拙，它们的期望值相同，这就是NFL（没有免费的午餐）定理，但它的重要前提是所有问题出现的机会相同或者所有问题同等重要

在某些问题上表现好的学习算法，在其他问题上可能不尽人意，所以学习算法的归纳偏好与问题是否匹配往往起到决定性作用

1.5发展历程

推理期、知识期、学习期、从样例中学习（符号主义学习、基于神经网络的连接主义学习）、统计学习、深度学习

1.6应用现状

机器学习不仅成为智能数据分析技术的创新源泉，还能通过建立一些关于学习的计算模型来促进我们理解“人类如何学习”