week14

ch22 ch24
机器学习的方法数不胜数，但是所有方法都试图建立一个模型来对现有实例进行归纳
所有方法可分为：
模型的表示
用于评估模型优度的目标函数
一种优化方法，可以通过学习找出一个模型，使目标函数值最大化或最小化

机器学习算法：

• 监督式学习
  1、从一组成对的特征向量和值开始
  2、目标：从这些特征向量和值中推导出某种规则，预测出未知的特征向量及所定义的值
  3-1：回归模型：为每一个特征向量关联一个实数
  3-2：分类模型：为每一个特征向量关联一组数量有限的标签

• 非监督式学习
  没有给定一个标注的特征向量集合，通过算法自动发现特征向量集合中的隐含模式

名词解释

• 特征工程：区分数据中的信号和噪声，如果相对于样本量来说数据的维度（即特征的数量）比较大的时候，特征工程就有较大的失败风险
• 距离度量:
  目的：看看响尾蛇与巨蟒更相似，还是与箭毒蛙更相似。
  方法：
  1、比较等长向量的闵可夫斯基距离

def minkowskiDist(v1, v2, p):
 """假设v1和v2是两个等长的数值型数组
返回v1和v2之间阶为p的闵可夫斯基距离"""
 dist = 0.0
    for i in range(len(v1)):
        dist += abs(v1[i] - v2[i])**p
    return dist**(1/p)

kmean聚类的理解

k最邻近算法：
对新样本进行标注时，就是根据它们与训练集样本的相似度而进行的
KNN分类器的缺点：当存在严重的分类不平衡的时候（两种类别数量差别大），分类结果非常糟糕
改进：对k最邻近进行加权