如何搭建网页搜索中图片特型类结果的策略监控（针对黑盒部分）

一、图片特型结果的策略环节

课程截图 课程截图

1.需求识别策略

首先识别用户的搜索词是否包含图片需求

2.检索策略

如果识别为图片需求，开始针对性地在图片结果库中进行检索

3.展现策略

将检索到的结果以符合用户需要的样式进行展现

二、需求识别策略

课程截图

1.如何衡量需求识别策略的效果？

策略的目标是将所有背后隐含图片需求的搜索词都识别出来，而且没有隐含的都不会错误的识别出来。所以这里面是两个维度的指标，第一个覆盖程度，第二个准确程度。

但是，现实中，只能监控识别到了多少。

课程截图

2.需求识别策略监控指标

覆盖率：识别为图片需求的流量/网页搜索总流量

“识别为图片需求的流量不等于展现了的图片需求的流量”

需求强度分布：强、中、弱需求的比例*图片需求=强需求量+中需求量+弱需求量

吴亦凡图片：强图片需求

吴亦凡：中图片需求

邢台：弱图片需求

课程截图

三、检索策略

1.如何衡量检索策略的效果？

通过检索结果的质量来衡量。

课程截图

2.监控指标

相关性打分=每个搜索词对应结果的相关性打分均值

3.监控规则

小时级监控，同比上周同期波动>20%时，以短信形式发出报警；

波动>50%时，以电话形式发出报警。

四、展现策略

1.如何衡量展现策略的效果？

监控各种展现样式的表现：样式占比、点击率

四种样式：多排筛选样式、多排样式、单排筛选样式、单排样式

2.监控指标

课程截图

3.监控规则

课程截图

小时级监控：

同比上周同期波动>5%时，以邮件形式发出报警；

同比上周同期波动>20%时，以短信形式发出报警。

五、通过监控获得需求的总结的局限

1.图片特型结果的监控体系的搭建

课程截图

首先第一步，我们将用户与产品的交互进行分析，将监控拆解为针对白盒部分的效果监控，和针对黑盒部分的策略监控。

课程截图

对于白盒部分，我们又进行拆分和抽象。首先用户要看到结果，这个是产品的覆盖情况。接下来用户可能产生各类行为，比如点击、翻页、更换搜索词，这个代表了产品的满足效果。

课程截图

对于黑盒部分，我们将整个策略体系分为需求识别、检索、展现三个不同的策略模块分别进行监控。

2.监控的局限性

课程截图

局限1：考虑到准确率，监控覆盖的精度（策略意义上的召回率）有限。

局限2：虽然可以帮助发现异常，但通常不能直接定位问题，最终依然需要配合人工手段确定最后的问题。

3.小结

课程截图

对于任何一个复杂的策略系统，人工去排查每个模块给用户带来的影响，是一种非常不经济的方式。

所以，线上监控作为一种自动、实时、针对效果的问题发现方法，日趋重要。

---

以上为三节课策略产品课程个人学习笔记。