Trustworthy Online Controlled Experiments Part 1 Chap 1
有趣的在线控制实验
这里的 “有趣” 指的是实验结果和预期相差很大。如果一个实验符合预期， 那你不会从中学到新的东西。 相反， 如果实验结果距离预期很远， 甚至完全相反， 那么恭喜你， 你找到了一片新知的丛林。
之前Bing 的例子是个一个正向的“有趣”。 其实现实存在大量的反例， 微软一直试图在社交网络领域有所突破， 但结果是2年来一事无成。 接下来会介绍一些“有趣”的例子， 通过这些例子， 我们可以领略到人类在评估 一个主意的价值方面，是多么的无力。
UI 测试：41种蓝色
Google 和 微软的经验告诉我们，一些设计上的改变会有非常大的影响力。Google 曾经尝试给搜索页面换过41 种蓝色， 这让他们的UI 经理疯狂。 但最后结果证明，这给他们带来非常大的收益。而且让设计团队和组织实验的团队产生了很好的配合。微软也通过类似的实验，每年带来超过1000万美元的收益。 这些都是小改变带来大收益的例子，但是考虑到已经尝试过的颜色的数量， 继续在颜色上动脑筋可能不会再产生很大的收益了。
在恰当的时候展示
在2014年，亚马逊开展了信用卡业务， 并在首页上进行了展示。 当时信用卡提供了很大的优惠，但是过了一段时间， 发现点击率特别低。 后来他们把展示时机换到了购物车页面。
[图片上传失败...(image-bd5cf7-1615095453502)]
改动后，用户可以直观的看到办理信用卡的好处， 于是点击率大大增加。 这个改变给Amazon 带来了每年数以亿计的利润。
个性化推荐
Greg Linden 在亚马逊开发了推荐系统， 当用户把一个商品添加到购物车以后， 就会有些新的商品推荐给客户。 虽然一开始产品原型效果很不错，但是一个高级副总裁极力反对这个改动，因为这回打扰用户付款。当时 Grey 被禁止在继续此项用作， 但是Grey 启动了一个现在控制实验， 结果好得出奇。 最后购物车商品推荐被复制到了其他在线购物网站。
速度对LOT很重要
2012年，微软的一名工程师修改了JavaScripts 生成方法， 这个改进会降低用户等待时间。结果这个改进产产生了很好的影响，之后又被推广到其他地方。 微软测算，响应速度每降低10毫秒（眨眼的1/30）带来的利润就可以支付一名全职软件工程师的全部薪水。 到了2105年， 微软95% 的响应都已经在1秒以下了， 他们在想继续降低反应时间是否还有意义。 结果是，相对收益确实降低了（百分比）， 但是由于在此期间微软的营收增长了很多，绝对收益比以前更多了， 现在每降低 4 毫秒带来的利润，就可以供养一名工程师了。
很多公司都做了响应速度和收入关系的实验。 亚马逊的结论是， 响应速度每慢 100毫秒， 收入就会下降1% ， 考虑到亚马逊的营收， 这是非常大的一笔钱。
减少恶意软件
广告是很有利润，恶意软件会在用户电脑中以意想不到的方式弹出广告。有时候恶意软件会屏蔽 Bing 的广告，替换上他们的广告，这导致了用户体验的大幅降低， 也影响了微软的收入。 在修补了这个漏洞以后， 微软收到很好的回报。
后台的改变
后台算法的改变有时也会带来巨大的改进。 在2004年，已经有了很好的推荐算法了。 一开始，亚马逊方法的是“买了X的用户也可能买 Y“， 后来推广到“看了X的用户可能买Y”。 后来他们尝试推广到“搜索了X的用户可能买Y”。 最后的推广被证明了很有效。 之前当用户在搜索 “24“ 的时候， 由于信息太少，搜索结果返回很差。 但是在使用了新的规则以后， 亚马逊就会找搜索 24 的用户会买什么， 然后进行推荐。 但这个算法有个坏处， 那就是有些返回的商品封面上并没有24这个词。 但是经过在线控制实验后， 他们意识到这个改进会把营收提高 3% ！
在线控制实验的战略与战术
当实验条件满足以后， 我们认为进行实验对公司的战略与战术都会非常有意义。 战略与在线控制实验相辅相成。 有效的战略不会压制企业家行为， 反而会鼓励它： 通过界定创新与实验的边界。 他定义了 lean strategy process， 确保了既不会有僵化的规则， 也不会毫无制约的随意进行实验。
好的实验配合恰当的指标，可以让公司通过“基于数据的决策” 来提高公司制定战略，设计产品以及运营的水平。 通过把一个战略封装进OEC，控制实验可以形成一个很好的对战略的反馈环。 实验中意外的结果也会帮助公司发现潜在的替代战略。同样的，在线控制实验也可以帮助产品设计形成这样一个反馈循环，以不断提升产品设计。同样的，一些战术级别的改变也可以获得类似的收益。 下面我们看２个主要场景：
场景１：有战略也有足够的用户去开展实验
此时，你可以借助实验到达一个基于当前产品与战略的 “局部最优点‘。
１． 实验可以帮助你找到提升ROI 的方法。
２． 通过小改动获得大收益
３． 通过小步迭代了来改进现有产品，而不是做一次大的改版，从而让老用户无所适从。
４． 实验也可以帮助你改进后台算法
通过选择符合战略的OEC，控制实验会帮助团队加速创新。在我们公司，不但有团队负责实验，也有团队负责制定合适的指标。
场景２：有产品有战略，但是实验结果建议你改变方向
在上一个场景中，有明确的目标和OEC， 要做的就是不断的优化。 但是也有的时候，无论是内部的数据，还是外部的数据都指向另外的方向。 这是你就要考虑重新设立战略与OEC 了。我们的建议是，尽量保持思想的开放性， 既要有一些和当前目标相近的一些想法， 也有一些看起来极端和现有公司方向距离很远的想法。 事实证明，大部分激进的想法都是错的， 但是这里也有一个平衡。 有时候一些激进的想法确实可以带来非常大的收益。而实验则可以帮助你去评估这些想法。 在使用实验评估激进想法的时候， 需要注意以下几点
-
时间。 当进行一项UI实验时，一个大的UI 上的变动会导致用户不适宜。那么在短期内新UI 的好处可能被低估
-
每次只验证一个新的想法。 一个大的战略可能包括很多小的改动， 每个实验只能进行关于一个改动的测试。 这样可以避免一个小的改动的失败，影响到整个战略。
由于进行实验需要花费时间，并且面临其他挑战 Sinofsky and Iansiti 写道：
“产品开发过程充满了风险和不确定性，这是两个非常不同的概念我们无法降低不确定性，你不知道你什么不知道“
我并不同意这种说法，通过在线实验运行你可以在最小可行产品（Minimum Viable Product）上不断的实验来减少产品的不确定性。 并不是所有人都有资源花几年一次性开发一个产品，而且那样做会有很多不确定性。不断的在MVP 上进行实验， 不断的收集数据，再改进会让你
网友评论