机器学习中性能比较很复杂，没有想象的那么简单：
1.希望比较的是泛化性能，但得到的是测试性能
2.测试集上的性能跟测试集的选择很有大关系
3.机器学习有一定的随机性
假设检验：
“假设”是对学习器泛化错误率分布的某种判断或猜想，可根据测试错误率估推出泛化错误率的分布
误分类样本数符合二项分布，当泛化错误率=样本错误率时，概率最大
二项检验:
在1-a的概率内所能观测到的最大错误率， a的取值一般是0.05或0.1
1-a反映了结论的“置信度”， a为显著度
ε0 = max ε s.t. ε^i*(1-ε）^(m-i) <a
若测试错误率ε<ε0，则得出结论： 在 a 的显著度下 ，或1-a的置信度下， ε<=ε0不能被拒绝
交叉验证t检测
McNemar检验
Friedman检验与Nemenyi后续检验
机器学习中性能比较很复杂，没有想象的那么简单： 1.希望比较的是泛化性能，但得到的是测试性能 2.测试集上的性能跟...
《多元统计分析与SPSS应用》笔记 文章结构 单一样本均值检验 只对单一变量的均值加以检验，用于检验样本所在总体的...
均值比较和T检验 整体参数检验和非参数检验框架 单样本T检验 检验单个变量的均值与待检验值之间是否存在显著差异。 ...
上一篇我们讲了学习器的性能度量方法，是否就可以直接比较不同模型的性能呢？ 其实事情远没有想象的那么简单。首先，我们...
均值过程：求取平均值标准差等单样本T检验独立样本T检验配对样本T检验 均值比较就是求取样本平均值，组间均值比较，总...
秩和检验 秩和检验是参数检验重要的补充。秩和检验是非参数检验的重要方法。多组定量数据的比较，主要的方法有两种。一种...
学习内容 应用似然比检验 (LRT) 进行假设检验 将 LRT 生成的结果与使用 Wald 检验获得的结果进行比较...
样本均值比较的假设检验方法主要有Z检验和T检验，它们的区别在于Z检验面向总体数据和大样本数据，而T检验适用于小规模...
均值比较分析， 单样本T检验，一个样本 独立样本T检验，两个独立不相关样本 配对样本T检验
五、非配对t检验 （一）文献中应用 文献中如此描述t检验的应用：”非配对t检验用来比较RBH、ESBG、MBL在试...
本文标题：比较检验
本文链接：https://www.haomeiwen.com/subject/kftsxxtx.html
网友评论