如何搭建网页搜索中图片特型类结果的策略监控（针对黑盒部分）
一、图片特型结果的策略环节
1.需求识别策略
首先识别用户的搜索词是否包含图片需求
2.检索策略
如果识别为图片需求，开始针对性地在图片结果库中进行检索
3.展现策略
将检索到的结果以符合用户需要的样式进行展现
二、需求识别策略
1.如何衡量需求识别策略的效果？
策略的目标是将所有背后隐含图片需求的搜索词都识别出来，而且没有隐含的都不会错误的识别出来。所以这里面是两个维度的指标，第一个覆盖程度，第二个准确程度。
但是，现实中，只能监控识别到了多少。
2.需求识别策略监控指标
覆盖率：识别为图片需求的流量/网页搜索总流量
“识别为图片需求的流量不等于展现了的图片需求的流量”
需求强度分布：强、中、弱需求的比例*图片需求=强需求量+中需求量+弱需求量
吴亦凡图片：强图片需求
吴亦凡：中图片需求
邢台：弱图片需求
三、检索策略
1.如何衡量检索策略的效果？
通过检索结果的质量来衡量。
2.监控指标
相关性打分=每个搜索词对应结果的相关性打分均值
3.监控规则
小时级监控，同比上周同期波动>20%时，以短信形式发出报警；
波动>50%时，以电话形式发出报警。
四、展现策略
1.如何衡量展现策略的效果？
监控各种展现样式的表现：样式占比、点击率
四种样式：多排筛选样式、多排样式、单排筛选样式、单排样式
2.监控指标
3.监控规则
小时级监控：
同比上周同期波动>5%时，以邮件形式发出报警；
同比上周同期波动>20%时，以短信形式发出报警。
五、通过监控获得需求的总结的局限
1.图片特型结果的监控体系的搭建
首先第一步，我们将用户与产品的交互进行分析，将监控拆解为针对白盒部分的效果监控，和针对黑盒部分的策略监控。
对于白盒部分，我们又进行拆分和抽象。首先用户要看到结果，这个是产品的覆盖情况。接下来用户可能产生各类行为，比如点击、翻页、更换搜索词，这个代表了产品的满足效果。
对于黑盒部分，我们将整个策略体系分为需求识别、检索、展现三个不同的策略模块分别进行监控。
2.监控的局限性
局限1：考虑到准确率，监控覆盖的精度（策略意义上的召回率）有限。
局限2：虽然可以帮助发现异常，但通常不能直接定位问题，最终依然需要配合人工手段确定最后的问题。
3.小结
对于任何一个复杂的策略系统，人工去排查每个模块给用户带来的影响，是一种非常不经济的方式。
所以，线上监控作为一种自动、实时、针对效果的问题发现方法，日趋重要。
上一篇：2.2【实例】效果监控系统搭建
