校验二分类特征相关性

1.1 统计样本集中文档总数(N)。
1.2 统计每个词的正文档出现频率(A)、负文档出现频率(B)、正文档不出现频率)、负文档不出现频率。
1.3 计算每个词的卡方值,公式如下:

1.4 将每个词按卡方值从大到小排序,选取前k个词作为特征,k即特征维数。
在文本分类的特征选择阶段中,我们主要关心一个问题:词条t与类别C是否相互独立
1)相互独立,说明词条t对类别c完全没有表征能
2)不独立,说明词条t对类别c有一定的表征能力
卡方检验的缺点是:它只统计文档是否出现词,而不管出现了几次。这会使得他对低频词有所偏袒(因为它夸大了低频词的作用)。
多分类中也是能够运用卡方校验进行特征选择

式中n为总例数;A为各观察值;nR和nC为与各A值相应的行和列合计的总数。
参考博客
[ https://www.cnblogs.com/liyongzhao/articles/3369117.html ]
网友评论