美文网首页
Graph Embeding(图嵌入)在短视频推荐系统的落地实战

Graph Embeding(图嵌入)在短视频推荐系统的落地实战

作者: 数据挖掘菜鸟davidwang | 来源:发表于2018-12-23 00:46 被阅读200次

    上文主要介绍了deep walk原论文是如何从原始语料获得graph,以及如何从graph,随机游走出item序列。继而通过word2vec或得item 向量。从而完成推荐。

    本part主要介绍我在落地到短视频推荐时是如何对deep walk进行改进的,并介绍落地到推荐引擎中的离线在线流程。通过上面的介绍,大家发现了,最初版本的deep walk是没有采用user作为graph中的节点,这样会有两个弊端,一:同样数目的点击序列下,得到的最终的游走序列会少。二:没有经过user的过度,得到的游走序列里所提现的扩展度不足。图2是我对deep walk在短视频推荐中引入用户节点后产出游走序列的过程。图2的第一部分是原始日志抽取的用户点击序列。图2中间部分是得到的graph,除了Aabd到Dcd这几个原始点击序列,还有aAB一直是aC这些序列。是因为补充了任何两个有关系的节点到Graph中。图2的最右边部分是从graph中随机游走得到序列,我抽样了一些展示,能发现是user->item->user->item的形式所以保证item出现在最后游走完成的序列中的频次,假如我们在基础版本中设定了item序列长度是x,此时需要设定为2x。大家也看到了引入user节点后,有两个好处,一。我们可以选择embeding使对user或者不对user embeding,不embeding就在最后得到的序列中去掉user即可,这样我们也有了一个获得user embeding的途径。二。我们通过user节点在中间做桥,大大拓展了之前不太可能出现在一个序列的item。我产生这个idea是借鉴了基于图的推荐personal rank算法的私想。我也写过一篇博客介绍过personal rank算法。引用4。得到游走序列之后过一下word2vec得到embeding。完成推荐。

    图2引入user节点之后的graph

    下面介绍一下。落地过程中,离线在线架构。图3是离线流程,从log中获得用户点击序列,基于用户点击序列,或得Graph,随机游走抽取点击序列,得到item embeding,离线计算出item 相似文件取topk。写入kv。图4是在线使用的架构。召回时基于用户的最近点击,从kv得到item sim。merge到召回队列,然后经过rank,推荐给用户。这里打一个小广告:我利用业余时间在慕课网讲录了几个课:免费课链接:https://www.imooc.com/learn/1029,当然如果您想系统的学习一下个性化推荐算法的召回与排序体系,在慕课网有一个付费课程您可以学习。

    图3离线流程 图4在线架构

    下面将展示几个item sim相似度计算结果。看下面第一类的这种情况,从目测感上非常相似,但是其实在这种情况下,很多算法都可以达到这种效果,甚至基于title的相似度外加一下tf idf都可以。所以在成熟系统上新增召回,我们的收益点不来自于这一种。因为之前很多已存在线上的算法已经可以达到这个效果。第二种情况,是社会奇闻类,sim结果也是涵盖了社会,奇闻,电影,世界见闻,但是打开下面的视频,发现不违和。这种情况是给我们在base基础上提供收益的。以为他扩展了item的种类,使得用户不自然的就往更多的领域去拓展。第三种情况,看title好像各不相关,是很多电影,但是其实他们都是一种主题的,就是自媒体解读电影类的。现在解读电影类的自媒体超多,往往昵称是xx说电影,xx撩电影,放着一些舒缓的音乐,自媒体作者将剧情娓娓道来。但是要纯粹从item profile的角度需要视频内容以及音频内容理解可能才能归到一起,这种类型的case,借助隐语义就自然的归到一起。也是我们的收益点。

    origin:纪晓岚厉害了,和珅办不成的事,纪晓岚一个烟杆儿轻松解决

    sim:(1)皇上跟纪晓岚两人又演双簧,皇上话里有话,文武百官听的心惊胆战 (2)皇上罚纪晓岚种树,由和珅监种,两个男人也能一台戏,太有趣了(3)和珅对纪晓岚说: 你还真不能死,你死了我跟谁斗气,我会寂寞的(4)纪晓岚不上朝被皇上当场抓住,不想老纪一张嘴,又把和珅给坑了(5)纪晓岚在家里骂皇上是昏君,结果皇上刚好从门口进来听到了

    origin:爷爷扮女装带2岁孙女乘车,的姐误以为是人贩子报警

    sim:(1)13岁男孩被送到一家孤立学校,学校里7个人个个有问题!(2)一部引人深思的婚姻电影,看大龄夫妻如何共度难关,结局意想不到!(3)冬季烧烫伤患者增多 防患于未然是关键(4)四川最宜居的城市,环境优美,第一个你能猜到吗?(5)11月各类自然灾害致全国12万人次受灾损失75.4亿(6)中国游客吓坏了!缅甸姑娘很主动,伸手就要脱男游客的裤子

    origin:根据真实案件改编,一部泯灭人性的国产犯罪片,看完愤怒的砸桌子.

    (1)一部充满人性的电影,血和泪的教训,介绍男友给闺蜜认识要谨慎(2)三分钟看完《下妻物语》两位特殊少女的故事,带着满脸眼泪看完(3)有部 韩国又出了一部真事改编的犯罪片,这回却是关于我们(4)忍无可忍之下的人性,看过影片,思绪久久不能平复! (5)女孩为给姐姐报仇,不惜牺牲自己接近仇家,协助姐夫让其家破人亡

    最后说一下在落地时尝试的一些试验,以及我分析的失败的原因:在落地时,除了上述改进,我也想参考淘宝的s3里说到的利用subword来补充覆盖率,但是我假如了诸如cate,source,tag等sideinfo之后,发现让整个结果非常的趋同于线上的基于category以及基于tag的召回,收益也变得比不加side info还小了。

    引用4:基于图的推荐算法之Personal PageRank代码实战。https://www.jianshu.com/p/fe2c05933193

    本文为原创文章,如需转发请标明出处。

    相关文章

      网友评论

          本文标题:Graph Embeding(图嵌入)在短视频推荐系统的落地实战

          本文链接:https://www.haomeiwen.com/subject/kdswkqtx.html