美文网首页
大数据实例 | 推荐系统一点也不难--推荐好友的好友

大数据实例 | 推荐系统一点也不难--推荐好友的好友

作者: 彬彬有李学数据 | 来源:发表于2020-02-26 00:33 被阅读0次

目录

引入

思路

API介绍

1. 引入

如图所示:


朋友关系图.png

从图片易知,如果给HAdoop推荐好友,最优选是hello

图转化为文件后:

好友列表.png

次文件表示的是用户及其好友列表:

  • 其余列是第一列的直接好友
  • 第二列及其以彼此是间接好友
  • 间接好友关系之间可能存在直接好友关系(如黄色Hadoop 和 world)

所以最应该推荐的简介好友排名topN:

  • 找到所有简介好友序列(排除是直接序列),然后按照个数进行排序

2. 思路:

  • 推荐者与被推荐者一定有一个或多个相同的好友
  • 全局去寻找好友列表中两两关系
  • 去除直接好友
  • 统计两两关系出现次数

所以此时的key 应该是一个间接好友关系序列,v是共同好友的个数!
注意:(Hadoop , world)还有( world,Hadoop)是一组,此时应该按照字典序列输出!!!这样才能保证二者判定是一组的。

3. API

map:按好友列表输出两俩关系
reduce:sum两两关系
再设计一个MR
生成详细报表

相关文章

网友评论

      本文标题:大数据实例 | 推荐系统一点也不难--推荐好友的好友

      本文链接:https://www.haomeiwen.com/subject/jjdfchtx.html