美文网首页
卡方校验

卡方校验

作者: 一心一意弄算法 | 来源:发表于2018-12-03 08:34 被阅读5次

校验二分类特征相关性

image.png

1.1 统计样本集中文档总数(N)。

1.2 统计每个词的正文档出现频率(A)、负文档出现频率(B)、正文档不出现频率)、负文档不出现频率。

1.3 计算每个词的卡方值,公式如下:

卡方公式

1.4 将每个词按卡方值从大到小排序,选取前k个词作为特征,k即特征维数。

在文本分类的特征选择阶段中,我们主要关心一个问题:词条t与类别C是否相互独立
1)相互独立,说明词条t对类别c完全没有表征能
2)不独立,说明词条t对类别c有一定的表征能力

卡方检验的缺点是:它只统计文档是否出现词,而不管出现了几次。这会使得他对低频词有所偏袒(因为它夸大了低频词的作用)。

多分类中也是能够运用卡方校验进行特征选择

image.png

式中n为总例数;A为各观察值;nR和nC为与各A值相应的行和列合计的总数。

参考博客
[ https://www.cnblogs.com/liyongzhao/articles/3369117.html ]

相关文章

  • 卡方校验

    校验二分类特征相关性 1.1 统计样本集中文档总数(N)。 1.2 统计每个词的正文档出现频率(A)、负文档出现...

  • Python统计分析-卡方校验

    卡方校验 卡方检验属于非参数检验的范畴,用于统计样本的实际观测值与理论推断值之间的偏离程度,实际观测值与理论推断值...

  • Android开发工具类

    BankCheck:银行卡管理 checkBankCard : 校验银行卡卡号是否合法getBankCardChe...

  • 类属性校验

    spring 中校验参数的快捷方式 1.其中在controller 中校验user validateEntity方...

  • 干货!一文汇总卡方检验分析步骤

    一、类型 SPSSAU中卡方检验包括卡方检验、卡方拟合优度、配对卡方、分层卡方。 对于上述四种卡方检验区别如下: ...

  • 卡方检验

    ①四格表卡方检验 ②配对卡方检验 ③RxC卡方检验

  • 卡方分布知识说明

    卡方分布定义 卡方分布的性质 卡方分布的数字特征 拓展SPSSAU卡方检验 卡方分布定义 设X1,X2,⋯,Xn是...

  • iOS银行卡合法性校验

    项目中用到了校验银行卡,就拿来贴上来了

  • 天眼调试API银行卡4要素验证笔记!

    【天眼数据】银行卡四要素(银行卡四元素)实名认证-银行卡四要素鉴权-银行卡四要素校验 调试地址: curl php...

  • 从卡方校验到事物间的相关性

    生活中有各种各样的事物,如篮球、汽车、体育、股票等等,它们之间要么相关,要么不相关(一句废话,哈哈),也就是具有不...

网友评论

      本文标题:卡方校验

      本文链接:https://www.haomeiwen.com/subject/bhcwvxtx.html