wei qu
什么是效果回归？
首先要回答三个问题
如何做效果回归？
通用方法论
具体如何做到效果回归，更关注方法论的前两个环节具体包括五个步骤
项目启动前
第一步：明确预期：产品和项目的目标
第二步：指标体系：该目标可以用哪些数据指标来衡量？
目标是什么：找到核心指标
关键路径：找到过程指标
新路径伤害了谁：找到观察指标
开发上线
第三步：全流量上线，如果核心/过程/观察指标仅与本项目有关，评估效果很好、希望尽快上线那到收益时，可选择全流量上线
回归方法：试验期同比上和时间周期，变化多少
小流量上线：如果核心/过程/观察指标变化可能受项目外的因素影响，或者项目效果存在一定不确定性时，尽量选择A/Btest
回归方式：实验流量比基线流量，变化XX%
注意：抽样方法时都足够随机；样本集合是否由于天然差异。先进行流量空跑，避免问题
上线后
第四步：收集第二步中指标，看是否达到第一步的预期
第五步：分析问题产出结论
符合预期：产品循环暂时中止
不合预期：新的产品循环开始
这两步完整的决策路径：
举个栗子
百度搜索[搜索建议] （sug）的效果回归
sug
项目启动前确定如下目标
a.产品目标：降低用户输入成本
b.核心指标：用户输入时间，经调研预期降低2s
c.过程指标：用户输入流程，如下
用户输入效率的影响因素：sug展现的比例，在哪个输入长度下展现，是否被用户点击
所以过程指标：sug展现率、平均输入长度、sug点击率
d.观察指标：sug的改动对输入流程的影响是可控的，对输入后搜索的体验的音讯GIA那个是不确定的。（某种意思上，sug起到了推荐的效果）
所以观察指标：sug输入query的搜索结果满意度
项目开发上线前
小流量上线，实验组和对照组各10%
上线后
核心指标：降低了1.2s，有收益但是低于预期
过程指标：平均输入时长变短，符合预期；sug展现率变低，点击率没有变化，于预期不符；
观察指标：sug输入query的搜索满意度降低，用户体验差
分析后结论
性能有问题，导致长词汇（多term）sug的加载过慢，拉低了平均展现率和使用率
网友评论