定位

• 课程是机器学习（包含推荐算法）算法原理在推荐系统的实践
• 深入推荐系统的业务流场景、工具使用
• 作为人工智能的数据挖掘（推荐系统）方向应用项目

目标

• 熟练账务推荐系统的实时推荐业务流
• 熟练账务推荐系统lambda分布式计算工具、存储工具使用
• 熟练账务黑马推荐离线计算、在线实时计算解决方案

技术架构

使用lambda大数据实时和离线计算整体框架

• 大数据Lambda架构
  • Lambda架构是实时大数据处理框架
  • 将离线计算和实时计算整合，设计出一个满足实时大数据系统关键特性的架构。
  • 分层架构
    • 批处理层、实时处理层、服务层

业务架构

• 简介
  建立在海量数据之上，使用lambda大数据实时和离线计算整体架构，利用用户行为建立用户和物品之间的画像，通过机器学习算法进行智能推荐。
• 主要场景
  • 首页频道推荐
  • 相似物品推荐
• 业务流
  1. 基础数据层：
  • 业务数据主要包含用户数据（用户的基础数据）和文章数据（文章的基本信息）
  • 业务批量存储在HDFS上以用作离线分析
  • 日志数据实时流向Kafka以用作实时计算
  2. 数据处理层
  • 基础计算：基于离线和实时计算数据，对各类基础数据计算成用户画像、文章画像
  • 召回与排序
    • 召回 环节使用各种算法逻辑从海量的文章中筛选出用户感兴趣的文章候选集合，集合大小：上千万级别。
    • 排序 即对候选集合中的文章进行用户相对的模型结果排序，生成一个排序列表。点击率预估模型，模型评价。
  3. 推荐业务流
  • 通过对外提供rpc接口来实现推荐业务的接入
  • Feed流推荐：用户不断下拉刷新