推荐系统实践-读书笔记5

推荐系统评测

好的推荐系统不仅仅能够准确预测用户的行为，而且能够扩展用户的视野，帮助用户发现那些他们可能会感兴趣，但却不那么容易发现的东西。同时，推荐系统还要能够帮助商家将那些被埋没在长尾中的好商品介绍给可能会对它们感兴趣的用户。

在推荐系统中，主要有3种评测推荐效果的实验方法，即离线实验（offline experiment）、用户调查（user study）和在线实验（online experiment）。

1. 离线实验

离线实验的方法一般由如下几个步骤构成：

(1) 通过日志系统获得用户行为数据，并按照一定格式生成一个标准的数据集；

(2) 将数据集按照一定的规则分成训练集和测试集；

(3) 在训练集上训练用户兴趣模型，在测试集上进行预测；

(4) 通过事先定义的离线指标评测算法在测试集上的预测结果。

2. 用户调查

用户调查需要有一些真实用户，让他们在需要测试的推荐系统上完成一些任务。在他们完成任务时，我们需要观察和记录他们的行为，并让他们回答一些问题。最后，我们需要通过分析他们的行为和答案了解测试系统的性能。

3. 在线实验

将推荐系统上线做AB测试，将它和旧的算法进行比较。