推荐系统的各个评价指标
1、用户满意度
解释:最重要的指标,无法离线计算,只能通过在线调查或者在线实验获得。
如何获得用户满意度?
1、通过在系统上设置相应反馈按钮,实时评价此次推荐结果的好坏
2、通过点击率、停留时间和转化率等其他指标评价用户满意度
2、预测准确度
解释:最重要的离线指标,常见的评价指标有评分预测和TopN
2.1 评分预测
包括五星评分、百分评分、好评评分等一系列由用户打分的可量化指标。
一般通过RMSE和MSE来计算并优化
2.2TopN
解释:推荐给用户一个含由N个选项的个性化列表
预测指标的优劣?
1、量化的评分预测是非常好的可优化对象,可解释性更强。
2、通常情况下,在推荐系统的初期以及新加入的物品,由于大部分物品没有评分,倾向于使用TopN算法构建排行榜,解决冷启动问题。
3、当推荐系统需要引入商业推广时,作为可以人为调节商品权重和展示内容的TopN,更方便操作。
3、覆盖率
解释:推荐系统可推荐的物品占总物品集合的比例
一个好的推荐系统不仅需要比较高的用户满意度,也需要较高的覆盖率。
推荐系统的马太效应可以使用基尼系数来验证。
4、多样性
解释:多样性表明了推荐列表中两两物品之间的不相似性。
5、新颖性
解释:给用户推荐没听过的物品
在我看来,这两个指标属于更高一级的指标,一个好的推荐系统不能没有多样性和新颖性,而一旦考虑这两个指标势必会使推荐的精度下降
*6、惊喜度
解释:简单理解惊喜度就是物品相似度与用户满意度之间的一个平衡,即推荐的物品和用户历史中的物品都不怎么相似,但是用户很满意。
需要和新颖性区分的是,虽然两者都是降低推荐结果的相似度,但惊喜度是一个正向的指标,提高惊喜度意味着提高用户满意度。
*7、信任度
解释:利用好友推荐或增加推荐解释,有助于提高用户对推荐系统的信任和对推荐结果的接受程度。
网友评论