前言
“果然一点不相干”是张之洞故事里的一个文字游戏，这句话是下联，上联是“树已千寻难纵斧”。树对果，已对然，千寻对一点，纵对相，斧对干，极其工整，但是句子连起来读，上下联一点关系也没有，诚如下联“果然一点不相干”的字面意义。
很显然这个玩法，是基于拆开每个文字的多义匹配，和句子的多义匹配，是两码事。
A／B测试
最近的一个A／B测试，分流的流程里有的页面只是路过，并没有参与改版，这是背景。数据出来以后，拆开每个步骤看，各个位置的新页面有的改好，有的改差，但是好玩的是，一点也没改的页面，转化率也很有大的变化。
句子可以拆成字去分析，但是仍然会作为一个整体去理解，类比A／B测试，如果刻意地把各个步骤的结果堆砌起来，结果有可能会“果然一点不相干”。
为什么对联可以变成文字游戏？关键在于歧义，每个字都有很多意思，干有干戈的意思可以对上斧，但是和相结合起来，就有关联的意思，和纵斧的意思完全千里之遥了。
那么流程页面为什么可以拆开来看呢？其前提是，信息量的输入和输出是不变的，同样是一个没有任何改版的页面，如果他前面一页信息量发生了变化，假设就不成立了。
转移概率
这时候会发现一个好玩的现象是，A页面的改版效果，在数据上体现在A＋1页面到A＋2页面的转化率变化。当然你可以说对A＋3也有影响，用统计学的语言表达，这句话可以写成：
P（Xn＋1＝x｜X0，X1，X2。。。）
就是说某步骤的下一步转移概率，取决于前面几步的条件概率。简化计算（也就是马尔可夫）就是第n步仅由第n－1步决定，这个公式在实际工作里可以用来识别名字／识别翻译／识别员工离职概率等等，而且可以防止“果然一点不相干”，为什么？因为他考虑了n－1（和n－2／n－3。。。如果你算的过来）。
收回思路，recap一下
1、ab测试的原则是分步骤、控制变量找问题。
2、当信息量等参数发生显著变化，分步骤的形式会有瑕疵，需要把发生变化的“下一步”也绑进来成为一个分析体。
3、这就启示我们，ab测试的结果，不仅仅有时间的压缩／弹伸效应（刚上线效果会显著，随时间延续，会平复到显著位和之前位置的中间，冥冥中有一个常量在控制，以前写过一篇blog），还有空间的压缩弹伸效应，也就是有些位置会极大改善，有些位置会变差，冥冥中也有一个常量在控制。
这也可以解释为什么“看起来越容易成功的改版，越容易失败“（抱歉这句伪名言是我自己想出来的），因为人的认知往往会忽视一些不容易察觉到的隐含变量，经过时间空间的来回拉伸以后，最终稳定状态能够有微小改善就很不错了。
4、所以我会得到“ab测试应该更复杂”的结论么？
不。恰恰相反，这更说明ab测试的意义应该更“辅助”。
本来这就是欧美的互联网工程师文化下的小玩意，在国内被妖魔化了，仅仅是辅助，如果完全依赖A／B来做决策，而不结合传统的客户调研，基于经验的感性分析等，则要么是出于政治诉求，要么就是无知无畏，不怕“果然一点不相干”了。
谢谢阅读。
网友评论