美文网首页
推荐:常见的评估指标

推荐:常见的评估指标

作者: 一桶浆糊V | 来源:发表于2022-08-16 16:45 被阅读0次

非原创,本文内容为网络搜集汇总整理,仅作为个人的学习记录,如有侵权,立即删除

LCN(Longest Continuous no-click Num):连续展现不点击

PNR(Positive Negative Rate):正逆序比 = 正序数 / 逆序数

COPC(Click over Prediceted Click):实际点击率/模型预测点击率,衡量model整体预估的偏高或偏低,越接近1越好,常应用于展示广告

pCTR(Predict Click-Through Rate):预测点击率

RMSE(Root Mean Square Error):均方根误差,衡量观测值同真值之间的偏差。观测值与真值偏差的平方和与观测次数m比值的平方根

SD(Standard Deviation):标准差,方差的算术平方根。标准差用于衡量一组数自身的离散程度,均方根误差用于衡量观测值同真值之间的偏差

R-square:确定系数

ROC(Receiver Operating Characteristic):
- 横坐标:假正率(False positive rate,FPR),FPR = FP/(FP + TN),代表所有负样本中错误预测为正样本的概率,假警报率
- 纵坐标:真正率(True positive rate,TPR),TPR = TP/(TP+FN),代表所有正样本中预测正确的概率,命中率

AUC(Area Under Curve):即为ROC曲线下的面基。AUC越接近1,分类器性能越好

衡量推荐系统的目标及对应评估指标:

1. 准确率,消费率:点击率、完成率;互动率:点赞率、收藏率、转发率、评论率、关注率
2. 丰富度,人均消费:人均使用时长、人均内容消费量(只有内容足够丰富,人均消费指标才会高,否则容易腻)
3. 权威度,内容全非:权威内容的曝光占比高;低质率:低质内容曝光占比低;投诉率:告置信用户举报少,负面评论少
4. 多样性,个性多样性:当日用户推荐列表的平均多样性;系统多样性:各主题内容被推荐的占比
5. 时效性,时效性强:时效性内容曝光占比高;推荐时延:文章从发布到推荐给用户的时延低
6. 商业价值,ARPU
7. 基尼系数,内容的基尼系数,系统的基尼系数越低说明推荐越均匀
8. 精细度,用户行为内容中非历史行为的内容占比,其主题不属于用户历史上感兴趣的主题
9. 新颖性,用户反馈旧闻重复的比例低

相关文章

网友评论

      本文标题:推荐:常见的评估指标

      本文链接:https://www.haomeiwen.com/subject/wowrgrtx.html