机器学习中输入空间、特征空间、假设空间

序

本次记录机器学习中涉及到的几种空间的解释和对比

输入空间+输出空间

监督学习中，输入与输出所有可能的取值集合称为输入空间与输出空间。
通常输出空间远小于输入空间

特征空间

每一条样本被称作是一个实例，通常由特征向量表示，所有特征向量存在的空间称为特征空间。
特征空间有时候与输入空间相同，有时候不同（例如word embbeding），不同的情况是输入空间通过某种映射生成了特征空间。

联合概率分布

两个以上随机变量所组成的随机向量的概率分布称作是联合概率分布。
根据对象的类型可分为离散型随机变量以及连续型随机变量。

1）离散型随机变量的联合概率分布
    举例：
        假设X Y都是离散型分布：
        X的分布如下所示：
            X      0        1
            p     0.4     0.6
        Y的分布如下所示：
            Y     0          1      2
            p    0.25    0.5    0.25
        因为X与Y相互独立，因此（X， Y）的联合概率分布为：
            X\Y      0         1          2
              0       0.1      0.2       0.1
              1      0.15     0.3      0.15
        根据上面XY的分布律可以求出：
        P(X＜Y)=P(X=0，Y=1)+P(X=0，Y=2)+P(X=1，Y=2)=0.2+0.1+0.15=0.45

2）连续型随机变量的联合概率分布：
    连续型随机变量的概率分布可以通过一个非负函数 f(x, y) 的积分来表示，f(x, y) 称作是联合概率密度函数。

假设空间

假设空间一般是对于学习到的模型而言的。模型表达了输入到输出的一种映射集合，这个集合就是假设空间，假设空间表明着模型学习的范围。

转载注明：https://www.jianshu.com/p/39328aa37431