作者以及单位
James Davidson(google)
解决问题
借鉴的场景:短视频公司。
用户看短视频(youtube)有三种目的:1.看特定的video;2.看特定topic的video;3.找感兴趣的视频。
解决第三种目的,存在的挑战是:1.短视频除了题目没有什么有价值信息;2.视频短,用户行为就短,噪声多;3.视频生存周期短。
文章主要介绍如何在YouTube主页上给用户提供的个性化推荐内容,其目的是为了提高用户使用网站的互动性以及娱乐性。
文章中所提到的算法会输出用户可能喜欢的视频集合,而不是给出一个具体的用户喜欢某一视频的概率(评价指标可以参考)。
研究对象
如何在YouTube主页上给用户提供的个性化推荐内容,其目的是为了提高用户使用网站的互动性以及娱乐性。
对象是主页!
在主页上推荐视频和推荐一个视频的相关视频在需求上有一定的差异,主页上的推荐对内容的新鲜度,发散性以及用户近期行为的相关性要求比较高。
研究方法
用户行为包括explicit和implicit feedback。前者是指用户评分、明确表示喜欢、不喜欢等行为,后者是浏览、观看等行为。原始数据中还含有非常多的噪声,很多不可控因素会影响原始数据的质量。
为了确定要推荐哪些视频,文章给出了相关视频的定义:视频v的相关视频是指可能在视频v之后被用户观看的视频。两个视频的相关性由关联规则挖掘方法来确定。视频i和j的相关性在文章中作者使用了简单的co-view来计算:
相关度
这里的Cij是视频i和j的co-view数(共同出现次数),f(Vi,Vj)则是根据视频Vi和Vj的观看次数给出的一个折扣(最简单的一个此类函数为f(vi,vj)=ci∗cj)。利用这个相关系数可以选出与种子视频Vi 最相关的N个视频,这里作者还引入了一个minimum score threshold,用来去除N个视频中并不十分确定的相关视频。
所有推荐视频的集合主要是根据用户过去的行为决定,一个用户可能会观看,喜欢多个视频或者给他们进行打分。根据这些视频,我们可以找到所有距离为1的相关视频,然后根据所有距离为1的相关视频找到距离为2的相关视频。
创新点
从系统寻找相关视频来说,新意不大。
但创新点主要是ranking部分:在推荐中,距离为1的相关视频就足够提供很多推荐结果,但是他们可能会十分偏向于用户某一个狭窄的兴趣点,所以我们需要增加距离使推荐结果有更多的新颖性。
当论文中得到所有的推荐视频集合后,可以对他们进行一次排序打分,根据视频质量(观看次数、视频评分、评论、收视和上传时间等);用户特征(用户观看观看次数和观看时间等);多样性:(视频集合的类别中做一个平衡)。
通过对用户的反馈进行分析,我们可以把用户不感兴趣的视频原因从推荐初始集合中删去,或者限制某一个看过的视频生成的推荐视频数量。
结论
涵盖了最基本的推荐引擎样例生成以及额外的排序过程,并且从系统上分析了如何通过Bigtable,MapReduce来搭建这一推荐系统,值得深入学习。
论文解读:
https://zhuanlan.zhihu.com/p/26977788
https://blog.csdn.net/friyal/article/details/83589232
网友评论