机器学习笔记（1）

参考书：周志华《机器学习》

第1章 绪论

Part1 基本概念

1.机器学习的研究内容：如何从数据产生模型（学习算法）

2.数据集、样本、属性、属性值

3.属性空间（输入空间）：由属性张成的向量空间，由此，每一个样本可以表示为一个向量

4.学习（训练）：由数据建模的过程，所使用的数据称为训练数据，相应的样本称为训练样本，数据集称为训练数据集

5.假设与真实：训练所得模型为假设，规律本身为真实，学习要使假设尽可能逼近真实

6.标记和样例：已经发生的已知的结果称为标记，拥有标记的样本称为样例

7.标记空间（输出空间）：由标记张成的空间，每一个样例表示为一个向量

8.泛化能力：模型不能只针对样例有效，对于未知的新样本也要有效，这种能力称为泛化

Part2 机器学习的分类

1.按有无样本空间分：

• 有监督学习，包括分类和回归
• 无监督学习，包括聚类

2.按预测值的类型分：

• 分类：预测值离散预定
• 回归：预测值连续
• 聚类：预测值离散不预定，其自动形成的组称为簇

Part3 机器学习的抽象过程

1.科学推理的基本手段：

• 归纳：由特殊到一般，泛化
• 演绎：由一般到特殊，特化

2.机器学习一般是指归纳学习

3.归纳学习分为：

• 广义：模型视为黑箱
• 狭义：能抽象出概念，又称概念学习

4.假设空间：由所有假设构成的空间，学习的过程就是在假设空间中找到最合适的假设（也就是模型）的过程

例如：有以下数据集

样本序号（采样的西瓜）	属性A（色泽）	属性B（根蒂）	属性C（敲声）	标记Y（是否为好瓜）
1	0（青绿）	0（蜷缩）	0（响亮）	1
2	1（乌黑）	0（蜷缩）	0（响亮）	1
3	0（青绿）	1（硬挺）	1（沉闷）	0
4	1（乌黑）	0（蜷缩）	1（沉闷）	0

其假设空间为{(0,0,0),(0,0,1),……(1,1,1)}的所有子集的集合，从其中搜索到(0,0,0)+(1,0,0)是符合的，则其假设为{(0,0,0),(1,0,0)}，可以构建模型，Y=（非B）（非C），这就抽象出了一个概念：“根蒂蜷缩且敲声响亮的瓜为好瓜”，这个例子是概念学习中最简单的一类——布尔值概念学习*

5.版本空间 ：符合条件的假设可能不止一个，所有符合条件的假设构成的空间为版本空间

6.归纳偏好 ：事先无法判断版本空间中哪一个假设最好，但又必须输出一个确定的模型，因此一个学习算法必须有归纳偏好，常用如下：

• 尽可能特殊复杂
• 尽可能一般简单，即奥卡姆剃刀法则

7.NFT定理 ：学习算法不影响总误差，即"No Free Lunch"，所以我们不能一概而论说某个学习算法最好，而要具体问题具体分析

8.小结：什么是学习 ？

（1）数据->模型

（2）特殊->一般

（3）样本空间->版本空间

Part4 机器学习理论的发展历程

1.推理期（二十世纪五十到七十年代初）：机器要有逻辑推理能力，Newell和Simon的”逻辑推理家“

2.知识期（二十世纪七十年代中期）：机器要有知识，Feigenbaum的”知识工程“

3.学习期（至今）

（1）连接主义：基于神经网络，例如”感知机“，BP算法

（2）符号主义：基于逻辑表示，例如”结构学习系统“，归纳逻辑程序设计（ILP)

（3）决策主义：基于决策理论，例如”学习机器“，决策树

（4）统计主义：基于统计理论，例如SVM,核方法