哑编码，又称为独热编码（One-Hot Encoding），作用是对特征进行量化。例如某个特征有三个类别：“大”“中”和“小”，要将这一特征用于模型中，必须将其数值化，很容易想到直接给它们编号为“1”“2”和“3”，但这种方式引入了额外的关系（例如数值间的大小关系），“误导”模型的优化方向。一个更好的方式就是使用哑编码，例如“大”对应编码“100”，“中”对应编码“010”，“小”对应编码“001”。如果将其对应到一个三维的坐标系中，则每个类别对应一个点，且三个点之间的欧氏距离相等，均为[插图]。
比如，有一个离散型特征，代表工作类型，该离散型特征，共有三个取值，不使用one-hot编码，其表示分别是x_1 = (1), x_2 = (2), x_3 = (3)。两个工作之间的距离是，(x_1, x_2) = 1, d(x_2, x_3) = 1, d(x_1, x_3) = 2。那么x_1和x_3工作之间就越不相似吗？显然这样的表示，计算出来的特征的距离是不合理。那如果使用one-hot编码，则得到x_1 = (1, 0, 0), x_2 = (0, 1, 0), x_3 = (0, 0, 1)，那么两个工作之间的距离就都是sqrt(2).即每两个工作之间的距离是一样的，显得更合理。
https://www.jianshu.com/p/cb344e1c860a
https://www.imooc.com/article/35900
网友评论