机器学习笔记

机器学习研究什么？
主要研究计算机从数据中提取“模型”的算法，叫做学习算法（learning algorithm）。

历史数据-->学习算法-->模型
新数据-->模型-->预测值

术语

机器学习术语

模型产生过程：
training sample<training data<training set-----use learning algoritmthm to learning/training---->hypothesis假设(ground-truth真实)

训练样本的结果信息--样例

样例

• 预测离散值：分类（classification）
  • 二分类binary classification：positive class ；negative class
  • 多分类multi-class classification
• 预测连续值：回归（regression）

f : x -> y
y输入空间：二分类为{-1，+1},多分类|y|>2,回归：y=R(实数集)

在学得f 后，对测试例x,可得到其预f(x).测标记y=f(x)

• 聚类（clustering）--无监督学习（unsupervised learning）训练样本没有标记信息

• 有监督学习（supervised learning）：训练数据有标记信息，代表是，分类和回归。

• 泛化能力（generalization）:学得的模型适用于新样本的能力。

• distribution 分布

• independent and identically distribute iid：独立同分布-->形容训练样本的

假设空间（hypothesis）

归纳(induction)与演绎(deduction)是科学推理的两大基本手段.前者是从特殊到一般的"泛化" (generalization)过程，即从具体的事实归结出一般性规律;后者则是从一般到特殊的"特化" (specialization)叫过程，即从基础原理推演出具体状况.例如，在数学公理系镜中，基于一组公理和推理规则推导出与之相洽的定理，这是演绎;而"从样例中学习"显然是一个归纳的过程，因此亦称"归纳学习" (inductive learning)

学习过程可以看成是在假设空间中找到与训练集fit的那个假设的过程。

假设空间由假设的所有可能的取值组合而成。

西瓜问题的假设空间 image.png

现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的"假设集合"，我们称之为"版本空间" (version space).