数据仓库之建设

作者: OverLight | 来源:发表于2019-10-14 16:54 被阅读0次

    背景篇

    • 目前所在项目中,人员配置:
      1. 项目经理(4)
      2. 业务分析师
      3. 报表开发工程师(2,4)
      4. etl工程师
      5. 大数据开发工程师(4)

      人员压缩可参考括号内

    分析篇

    • 从人员配置可知,现在企业对人员的要求比较高,恨不得你啥都会
    • 每个人最好了解业务,会提升做事效率(知道别人的需求)

    理念篇

    • 会写代码会提高效率(python解析Excel、批量执行存储过程、日志解析)
    • 初期业务分析占比很大,需要需求方和解决方共同出力,打好数仓根基
    • 数据质量由双方共同验证
    • 前期写SQL可以不考虑效率问题(团队不是每个人都知道怎么写会比较快,多数人只要结果的)
    • 团队领导最好有分布式思想(大数据计算的设计理念就是分散计算、结果汇总):这样好接受大数据工程师的优化建议

    创建篇

    • 数仓架构
      • 组件
      • 存储
      • ……
    • 业务分析
      • 系统
      • ……
    • 数据建模
      • ……
    • 数据计算
    • 任务工作流
    • 数据可视化(报表)

    使用篇

    • ……
    • 运维

    扩展篇

    • 对接外部数据
      • ……
    • 对外供数
      • 提供数据接口
      • FTP
      • Excel

    后续补充,想到什么写什么

    相关文章

      网友评论

        本文标题:数据仓库之建设

        本文链接:https://www.haomeiwen.com/subject/zsnrmctx.html