1.选择性报告与谎报
“具有超能力的章鱼保罗”生活在德国的一家水族馆里。除了西班牙和荷兰的世界杯决赛，保罗只预测了德国队参加的比赛。在德国参加的13场比赛中，保罗11次选择了德国——而德国赢下了其中的9场比赛。
而现实是，保罗几乎一定是色盲，不过实验表明，章鱼能够识别明暗度，而且喜欢横向形状。
如果数百只宠物曾经被迫进行毫无意义的预测，而且我们只知道其中得到报道的成功宠物，没有考虑到数百只没有得到报道的失败宠物，我们就会产生错误的想法。（幸存者偏差，这个被驳斥的逻辑谬误指的是只能看到经过某种筛选而产生的结果，而没有意识到筛选的过程，因此忽略了被筛选掉的关键信息。）
2.斯塔佩尔（Diederik Stapel）是一位极为多产、成功的荷兰社会心理学家，以设计全面细致的调查方案著称，这些方案通常以研究生或同事为调查对象。斯塔佩尔声称，凌乱的房间会加剧人们的种族主义倾向。在另一篇论文中，斯塔佩尔认为吃肉——甚至仅仅是考虑吃肉——会使人变得更加自私。斯塔佩尔拒绝展示调查数据。这件事被报告给了心理系主任。很快，斯塔佩尔承认，他的许多调查结果要么进行了篡改，要么完全是编造的。他解释说：“我想以很快的速度做出许多成果。”
学术造假，用已知证明已知。
寻找统计显著性的一种方法是对多种理论进行检验，然后只宣布具有统计显著性的结果。即使只考虑毫无价值的理论，也会有1/20的检验表现出统计显著性（统计显著性膜拜）。
选择性报告和数据搜刮——被称为数据挖掘。通过数据挖掘发现的统计显著性只能体现出研究人员的耐心。在独立检验证实或拒绝结论之前，我们无法判断某种数据挖掘马拉松到底证明了某种实用理论的有效性还是研究人员坚定的毅力。不过，通常情况下，这类检验并不会被人验证。毕竟，你无法通过证实他人的研究而成为明星；所以，为什么不把时间用于发现新理论呢？因此，通过数据挖掘得出的理论看上去很安全，既不会受到检验，也不会受到质疑。
如何区分正确理论与胡诌之间的区别？有两种有效的良方，常识和新数据，第一，理论听起来可笑且荒唐，不要一味相信或一味拒绝，要找理论依据，保持怀疑态度；第二，新数据，当你通过搜刮数据编造出了某种理论时，用同样的数据对这种理论进行检验是一种不明智的做法。既然你编造这种理论是为了迎合数据，那么这些数据当然会支持这种理论！应当使用没有被数据挖掘所污染的新数据对理论进行检验。
网友评论