美文网首页
假设检验

假设检验

作者: 弦好想断 | 来源:发表于2020-05-19 23:11 被阅读0次

基本思想
在一次观测或是严重几乎不可能发生的小概率事件,发生的概率称之为显著性水平。观测小概率事件在假设成立的情况下是否发生,如果在一次试验中小概率事件发生了,说明该假设在一定的显著性水平下不可靠或不成立,从而否定原假设;如果该小概率事件没有发生,只能说明没有足够的理由否定原假设。

在大部分的python数据分析工具库中,依据如下判定准则对假设检验下结论:

如果P值<=a,说名字啊显著性水平下,原假设不成立,拒绝原假设,选择备择假设;如果P>a,说明在显著性a水平下,没有充分的理由拒绝原假设。
如果没有指a的值,则P值越小越显著。
基本步骤:
1、写出原假设
2、确定理论的显著性水平a
3、计算用于检验的统计量值及其对应p值
4、进行判定,P值远小于a时可拒绝原假设
大样本情况下,方差已知或未知,和小样本方差未知情况下都是用Z正态统计量
小样本方差未知的情况下,使用t统计量(服从自由度为n-1的t分布)

单总体均值的参数估计与假设检验

就是在一定置信度下对总体均值进行估计。
规定饼干中水分含量不得超过4%,这里用随机抽取的50块饼干及其水分含量数据,对该型号的所有饼干(单总体)的水分含量(总体均值)进行置信区间为95%的区间估计。

#对总体均值进行Z估计得到正态估计区间
sm.stats.DescrStatsW(moisture['moisture']).zconfint_mean(alpha=0.05)
(3.8561051908351796, 4.0910948091648205)
#假设检验 Ho:u<=4,H1:u>4
#大样本情况下,总体方差已知或未知,和小样本方差未知情况下都是用Z正态统计量
sm.stats.DescrStatsW(moisture['moisture']).ztest_mean(value=4,alternative='larger')
(-0.440385831166995, 0.6701711574008213)
#alternative表示备择假设的负号,缺省则表示默认符号为等号,其值为‘two_sided(双尾)’
#而'larger'和‘smaller’分别表示备择假设符号位大于和小于。
#这里也使用小样本情况下的t估计得到估计区间
sm.stats.DescrStatsW(moisture['moisture']).tconfint_mean(alpha=0.05)
(3.853131123764977, 4.094068876235023)

在小样本,总体方差未知情况下下,用t统计量对25个用户评价满意度得分,在a=0.05下检验总体均值是否达到82分标准。

#假设检验 Ho:u<=82,H1:u>82
sm.stats.DescrStatsW(mobile['csi']).ttest_mean(value=82,alternative='larger')
(-0.6859943405700328, 0.7503546857532633, 24.0)
#alternative表示备择假设的负号,缺省则表示默认符号为等号,其值为‘two_sided(双尾)’
#而'larger'和‘smaller’分别表示备择假设符号位大于和小于。

scipy.stats中的ttest_lsamp函数也可以用于t检验:

stats.ttest_1samp(a=mobile['csi'],popmean=82)
Ttest_1sampResult(statistic=-0.6859943405700328, pvalue=0.4992906284934734)

这里ttest_lsamp的假设检验结果的出来的P值是双侧检验的P值,即备择假设为‘不等于’时计算出来的P值,按照如下原则进行计算:
如果备择假设是‘<’符号:
当t>=0时,进行判定的单侧P值=1-P/2;当t<0时,进行判定的单侧P值=P/2
如果备择假设是‘>’符号:
当t>=0时,进行判定的单侧P值=P/2;当t<0时,进行判定的单侧P值=1-P/2
因此,本例计算出来的用于判定的单侧P值为1-0.4993/2=0.75>>0.05,没有充分的理由拒绝原假设。对达到82分的标准评估值得进一步商榷。

单总体方差、标准差的参数估计

同单总体均值的估计原理相同,唯一的区别在于所用的统计量服从卡方分布。

#scipy中的bayes_mvs也提供了t分布下的均值估计结果:
m,v,s = stats.bayes_mvs(moisture['moisture'],alpha=0.05)
m,v,s
(Mean(statistic=3.9736000000000002, minmax=(3.9698215863920807, 3.9773784136079198)),
Variance(statistic=0.18733089361702127, minmax=(0.17985571283091048, 0.18449764399286908)),
Std_dev(statistic=0.43052145521911656, minmax=(0.4240939905621282, 0.4295318893782732)))

#使用scipy的mvdist方法也可获得均值、方差和标准差区间估计的python对象
m,v,s = stats.mvsdist(moisture['moisture'])
#然后利用对象的interval()方法指定置信度就能得到对应置信区间
m.interval(0.95),v.interval(0.95),s.interval(0.95)
#在mvdist返回的均值估计对象使用std()方法还能得到均值的标准估计误差
m.std()
0.061209622383579736

单总体比例的参数估计与假设检验

这里的比例是指反应总体某种特征只有两种属性,其中某种属性占所有属性的比重或百分比。如全国男性人口的比例,人们对某项政策是持支持还是反对态度的比例。
考察比例的样本数据通常为大样本,利用大样本条件下的统计量进行统计推断。
问题:随机抽取的100个产品经过检验有95个合格,5个不合格,试以99%的置信度估计对产品合格率的置信区间
利用statsmodels中的proportion_confint函数进行比例的参数估计非常简单,只需要指定我们所关注的属性(一般定义为“成功”的属性)和样本量即可

#单总体比例的参数估计
sm.stats.proportion_confint(95,100,alpha=0.01,method='binom_test')
(0.8649789068448047, 0.987031078672979)

假设检验

这里可以得出样本的产品合格率为95%,设总体合格率为p,提出原假设和备择假设:H0:p<=0.97;H1:p>0.97

#总体比例的假设检验#法1
stats.binom_test(95,100,p=0.97,alternative='greater')
#这里alternative分别可取‘two_sided(双尾)’,'less'和‘greater’。
0.9191628710986264
#总体比例的假设检验#法2
sm.stats.binom_test(95,100,prop=0.97,alternative='larger')
0.9191628710986264
#总体比例的假设检验#法3
sm.stats.proportions_ztest(95,100,value=0.97,alternative='larger')
(-0.9176629354822475, 0.8206023210565294)

可以看到单侧P值=0.919>>0.05,proportions_ztest的正态检验P值为0.8206>>0.05.因此,没有充分的理由拒绝原假设。即没有充分理由否定产品合格率不超过97%。

相关文章

  • 统计学笔记6 假设检验和p值

    假设检验 假设检验(hypothesis testing),又称统计假设检验,是用来判断样本与样本、样本与总体的差...

  • Python做假设检验

    目前看到的最全的假设检验的文章 python假设检验

  • R语言学习笔记_04

    假设检验 在R的内置函数中几乎囊括了所有常用的假设检验,常用的假设检验包括: 相关性分析包括Pearson相关系数...

  • 如何做推论统计分析报告?

    看本文内容前,确保你已经学过之前文章中的“假设检验”: 如何用最通俗易懂的方式理解假设检验 前面我们通过《假设检验...

  • 学习汇总

    python python假设检验(很全):python假设检验统计功能包:scipy 统计模型包:statsmo...

  • 生信课程笔记11-关于p值

    统计假设检验 Statistical hypothesis testing 假设检验是使用来自总体的采样(samp...

  • 【简单生活简单记】1.24小记

    ✨学习假设检验的一天。 假设检验: 假设检验基本思想、左右侧检验与双侧检验、Z检验基本原理、Z检验实例、T检验基本...

  • 《商务与经济统计》第12版学习9

    第9章 假设检验 在统计推断中如何利用假设检验来确定是否应该拒绝关于总体参数值的说法。 在假设检验中,我们首先对总...

  • 【原创】概率论9

    第九天,假设检验。 什么是假设检验? 假设检验是一种基于概率的反证法。 基于概率, 证明工具为反证。 如果能证明一...

  • 深入浅出统计学-13 假设检验的运用

    13 假设检验的运用 假设检验:进行假设检验即选定一个断言,然后借助统计证据对其进行检验 原假设H0:所检验的断言...

网友评论

      本文标题:假设检验

      本文链接:https://www.haomeiwen.com/subject/bzgiihtx.html