策略PM入门学习（七）

3.4 如何跟进开发评估：

• 策略类项目的流程

• 评估类型

  
  

3.5 策略质量评估

策略质量评估：用来说明策略本身的质量
输出结论：该策略的召回率&准确率

• 两个关键指标

  
  

• 案例说明

  
  

3.6 diff评估

关注复杂系统中的某个策略上线后，对用户体验的真正影响
如：新军事识别策略上线后，用户感知到的推荐结果是否真的变好

在一个复杂的策略体系中，各种策略会相互作用，共同影响最终效果，比如搜索、推荐。

在迭代其中某条策略时，除了评估策略本身的召回和准确，还要关注策略变化前后，用户角度直接感受到的产品效果变化是怎样的。

diff评估输出结论： diff影响面、good:same:bad
Diff影响面：策略调整前后，用户感知发生变化的比例，通常要小于策略影响面
good:same:bad（简称g:s:b）：随机抽样有变化的case，站在用户体验角度评估效果是变好了、无变化、还是变差了

• 如何做评估：

  
  

• 策略质量评估

  
  

• 典型评估循环

  
  

• 第一轮评估

  
  

• 第二轮评估

  
  

• 第三轮评估

  
  

• 小结

  
  

策略产品经理入门学习笔记：
策略PM入门学习（一）
策略PM入门学习（二）
策略PM入门学习（三）
策略PM入门学习（四）
策略PM入门学习（五）
策略PM入门学习（六）