在互联网产品经理的日常工作中，经常会遇到一些很难通过逻辑或者经验得出结论的情况：
比如说左文右图好还是左图右文好？
比如说某个卡片放在哪个位置转化率最高？
这种很难根据产品经理的所谓逻辑判断和经验来得出结论。那么这种情况一般怎么处理比较合适？
最常见的办法是运用AB测试，也就是对两拨或者多拨性质相同的用户群投放不同的方案，然后看数据总结得出最优方案。
在互联网巨头中，最依赖AB测试来得出方案的是今日头条。他们内部有个说法，就是不相信所谓的经验和个人直觉，一切让用户和数据说了算。
这种做法对产品经理成长是否有利，以及每次进行AB测试投入和产出的性价比先不论，但从AB测试是否能得出你想要的最优解这个角度出发，这种做法是不是万能的呢？
我拿我前段时间做的一个需求来和大家分享下我对这个问题的看法。
我要在内容分发阵地上，新增加一类内容卡片，内容来源是KOL生产的优质帖子，帖子核心是通过各种方式来推荐我们的内容。
我做了一个AB测试：有这类卡片和无这类卡片对整体内容分发效率的对比，结果发现有卡片的效率要略微低于无卡片（约莫低了3%）。我们假设这两个人群是完全一样的，那就说明了新增卡片对分发效率无作用，甚至轻微的影响了其他卡片的效率，从而导致整体效率降低了。
如果单看这个数据，那这个卡片是上线不了的。
但我回过头来思考，单凭这一个转化率数据真的能下结论说这个卡片对项目，对业务是不好的吗？
1、对比的核心指标是当天转化率，但业务不单要关注当天还要关注长期的留存、商业贡献等。如果只以单指标来衡量视野是缺失的。但是要做到一套完善的数据指标对比体系，其中投入的研发人力是较大的，在业务本身还有更多高优先级的需求未完成之前，相信很多团队都不会在中前期对这个事情投入资源；
2、从内容的多样性来说，做内容产品的核心关键就是内容，内容长久的关键是优质和创新。虽然创新可能有一定的风险，但创新的尝试是不能停的；
3、对业务来说，优质KOL是现阶段内容领域争抢的对象，我们给予KOL内容更多的曝光才能持续吸引更多KOL来入驻，进而持续产生优质的内容供用户消费。
AB测试其实是唯数据论，这些数据是人为制定的，并且在实际环境中很多case的评判指标是不够全面的。
它可以给产品经理对一些浅显的复杂度不高的情况提供决策帮助，但在一些涉及到多个方，多个环节，多个生态角色的的情况时，不太适用。复杂情况还是要结合业务目标来进行多方位的通盘考虑，AB测试的结果只能是一个辅助因素。
回到最初的问题，AB测试不是万能的，产品经理的思考能力才可能是万能的。
网友评论