假设检验与参数估计(包括点估计和区间估计)是建立在中心极限定理和抽样分布之上的推断统计的两个重要基础方法，由这两个方法出发，生发出诸多有针对性的统计分析方法。可以说，充分理解了假设检验，在以后学习其它统计方法时就可以起到事半功倍的效果。因此需要多花点时间在假设检验上。
假设检验涉及的范围非常广泛，几乎我们用到的所有统计分析方法都要用到它，如是否相关、是否服从正态分布、两个总体均值是否相等、回归系数是否显著、过程是否稳定等等均运用了假设检验。
这里要澄清一个概念，在现有的六西格玛教材甚至统计学教科书中，假设检验和比较分析是同一个概念，说到假设检验，我们脑海里浮现的就是单样本t-检验、双样本t-检验等等。我还是认为这两个不是一个概念，假设检验是基本的方法，具有普适性，而比较分析是假设检验的具体应用，所以我认为还是要把这两个内容区分开来。
既然假设检验如此重要，还请大家耐住性子，听我讲讲假设检验的来历。
据陈希孺先生的《数理统计学简史》，我们现在所说的假设检验，其理论体系始于奈曼和爱根·皮尔逊20世纪20～30年代的工作。而在其实用层面，则由卡尔·皮尔逊和费歇尔两位大师主导。这两位大师分别提出了拟合优度检验和显著性水平检验，与早期的假设检验相比，提供了数量上的评判标准，从而使假设检验上了一个台阶。
卡尔·皮尔逊和费歇尔工作的不足之处，在于他们都是以“个案”的方式来处理检验问题，没有能够构建出通用的假设检验方法。奈曼和爱根·皮尔逊从数学的角度，建立了一套有效的理论，使假设检验又上了一个新台阶。
让我们先认识一下耶日·奈曼和爱根·皮尔逊。
耶日·奈曼(Jerzy Neyman)，1894年出生于俄国的宾杰里，1912年移居至哈尔科夫，进入哈尔科夫大学学习数学和物理。在这里他听了当时著名的概率学家伯恩斯坦的讲课，这影响了他的一生。1921年根据一战后的里加条约，他作为交换移民迁往波兰，从此成为波兰公民。1924年获得华沙大学的博士学位，1925年得到政府资助去卡尔·皮尔逊那里深造一年，1926年在巴黎进修一年，期间听了勒维、勒贝格和波莱尔的讲课，对他影响很大。回到波兰后，在南茨基实验生物学研究所建立了生物计量实验室，1934年再去伦敦大学学院任教师，1938年移居美国在加州大学伯克利分校工作，这对美国的统计学和他本人来说都是一个转折点。我国概率论和数理统计学的开创者许宝騄先生在二战后曾在他手下工作过一段时间，他对许宝騄非常器重。
奈曼对于统计学的贡献巨大。
1934年提出分层抽样方法被誉为开创了现代科学抽样理论。
1934年引入了“置信区间”概念至今仍是统计推断的重要内容。
1926～1938年，与爱根·皮尔逊提出了假设检验理论，现已成为各个学科公认的研究方法。
爱根·皮尔逊(Egon Sharpe Pearson)的经历比较简单。年轻时即追随其父学习和研究统计学，并辅助其父的教学工作。在老皮尔逊退休并将其职务一分为二时，爱根接替了其统计系主任的工作直至退休。费歇尔接替了老皮尔逊的另一半职务：高尔登优生学讲座教授。从1920年代中期其，爱根已背离了其父的大样本统计，转而归到费歇尔的小样本旗下，这一转变是他日后在开创假设检验理论方面取得巨大成就的根源。
主要论文：
《关于统计推断的某些检验准则的运用和解释》
《关于两组样本问题》
《关于统计假设的最有效检验问题》等。
奈曼-皮尔逊理论的目标在于得出一个针对假设的结论，尽管这个结论存在错误的可能性。奈曼和皮尔逊识别出两个错误类型，一类错误是正确的假设被否决，二类错误是错误的假设被接受。当必须在不确定的条件下做出决策时，通过建立置信区间，奈曼的方法论提供了一个减少错误发生的途径，即使是这个结果仅仅来自于机会。
费歇尔与奈曼-皮尔逊之间关于如何进行检验之间的争论，是统计学界最有名的争论之一，双方的争论曾持续了很多年。
现在教科书上的假设检验则是杂合了费歇尔的显著性检验和奈曼-皮尔逊的假设检验引理，形成了标准化的、逻辑严密的假设检验理论NHST(Null HypothesisSignificance Test)。这种杂合的方式如下：
(1)采用了奈曼-皮尔逊的原假设对备择假设的假设形式，而备择假设却是费歇尔没有使用并一直反对引入的；
(2)同时采用p值(费歇尔的判断依据)和拒绝域法(奈曼-皮尔逊的判断依据)认为两者的判定效果是等价的，但费歇尔确极其反对拒绝域法，而奈曼-皮尔逊则并不强调p值的作用；
(3)把检验功效和两类错误作为NHST的内在内容加以介绍，而不提及这只是奈曼-皮尔逊的观点，费歇尔本人是反对这些概念的。
以上三点来自于吕小康：《Fisher与Neyman-Pearson的分歧与心理统计中的假设检验争议》，心理科学2012.35.6，pp.1502-1506。
对于这种假设检验形式，现在依然有很多争论。比如在20 世纪80 年代，质量管理界的泰斗级任务W·爱德华兹·戴明(W. Edwards Deming)就攻击了假设检验的整个思想，认为假设检验的整个思想都是荒谬的。他认为，统计假设检验的研究方向完全聚焦在一个错误的问题上。他直率地指出：“现实当中的问题绝不是两种处理(A 和B)的差异是否显著。给一个差异，不管它（差异）有多小……我们都会发现……这种(可产生显著性的)实验一直都重复出现。”因此，在戴明看来，仅仅发现显著性差异，没有任何意义，重要的是差异大小程度的确定。此外，戴明还指出，建立在某一实验条件下的差异程度会因条件的变化而不同。因此他认为，标准的统计方法已无法解决其自身的问题。统计学方法上的这些局限性是重要的。戴明指出：“统计学家必须更加关注实际问题，认识和教授统计推论时要看到它的局限性。从一系列结果中越深入地认识到一个推论的局限性，这个推论就变得越有用。”(本段来自于《女士品茶》)
关于假设检验的争议还有很多，这里不再赘述。
讲述假设检验争议的目的不是为了讲故事，而是为了提醒大家没有任何一个统计分析方法是完美的，在运用这些方法时不能僵化地死板硬套，而是要根据实际需要选择最恰当的结论。
更多精益六西格玛详细内容可搜索---天行健企业管理咨询进入官网查看。
网友评论