美文网首页
推荐系统陈开江 - C10 架构总览

推荐系统陈开江 - C10 架构总览

作者: 左心Chris | 来源:发表于2019-12-16 15:13 被阅读0次

1 信息流推荐架构

聚合信息流

内容采集和分析 抓取,标注,分配ID,运营边界和调性,CMS,队列通知离线计算
离线计算 推荐结果,用户画像,排序模型
推荐服务
日志收集和其他配套 监控,日志,可视化

社交动态聚合流

  • 整体框架
    日志收集
    动态发布和分发
    离线计算
    在线服务
    监控报警
    指标计算
  • 数据模型
    Time Actor Verb Object Target Title Summary
    From To Type/Name Affinity
    动态存储Mysql, Redis, Cassandra
    关系存储Mysql
    用户存储Mysql
  • 动态分发
    推(活跃度高)和拉(活跃度低)
    结合生产和消费的关系
    中小型社交网络用推的就行
  • 信息流排序
    避免没有目标(量化好正向和负向互动)和人为加权降权
    分为三种:生成样本,排序训练,模型部署

2 个性化首页架构

  • 首页架构
    在线层:简单算法,预测,过滤调权,重排过滤等特殊处理
    离线层:计算离线推荐结果,计算模型参数
    中间层:流计算,近实时计算,画像更新,模型小批量梯度下降更新
  • 简化架构
    只要在线和离线层;避免使用分布式系统,在百万级别的物品协同过滤,单机就行

3 搜索,推荐,广告

搜索解决的是如何快速找到想要的信息
推荐更多样性,探索用户兴趣,抓住用户注意力
广告系统包含商业目标,关注商业利益最大化

相关文章

  • 推荐系统陈开江 - C10 架构总览

    1 信息流推荐架构 聚合信息流 内容采集和分析 抓取,标注,分配ID,运营边界和调性,CMS,队列通知离线计算离线...

  • 推荐系统陈开江 - C3 内容推荐

    讲了什么?用户画像,标签挖掘,基于内容推荐 1 用户画像 什么是用户画像用户向量化后就是用户画像,便签,注册资料,...

  • 推荐系统陈开江 - C4 近邻推荐

    基于内存,基于模型的协同过滤https://www.zhihu.com/question/23838165 主要讲...

  • 源码学习之Spring (系统架构简单解析)

    Spring Framework 系统架构总览图 Spring Framework的模块依赖关系图 Spring ...

  • 推荐系统陈开江 - C6 模型融合

    哪几个部分?一阶模型融合,线性模型树模型二阶模型融合,FM高阶模型融合,Wide and Deep 1 线性模型和...

  • 推荐系统陈开江 - C9 其他算法

    1 排行榜 考虑时间因素考虑投反对票考虑好评率防止水军:用户投票准入,一人一票,用户投票加权 2 采样算法 有限数...

  • 推荐系统陈开江 - C11 关键模块

    1 日志收集 需要的元素必要:用户ID,物品ID,事件名称和时间其他:从什么事件来,从什么页面来,事件发生时用户的...

  • 推荐系统陈开江 - C12 效果保证

    1 测试和常用指标 测试软件工程测试:单元测试,回归测试,压力测试离线模拟测试:AUC,TopK准确率在线对照实验...

  • 推荐系统

    推荐系统基础 推荐系统简介 了解推荐相关常用概念 知道推荐系统的工程架构和算法架构 知道推荐系统的常用算法 知道协...

  • 推荐系统架构

    今天带来的是推荐系统架构的总览,围绕AB测试、微服务与模型更新三大部分展开,后续会不断展开详细内容,欢迎关注! A...

网友评论

      本文标题:推荐系统陈开江 - C10 架构总览

      本文链接:https://www.haomeiwen.com/subject/ixornctx.html