美文网首页想法简友广场读书
数据仓库架构师的岗位工作职责及应具备的能力

数据仓库架构师的岗位工作职责及应具备的能力

作者: 皮皮杂谈 | 来源:发表于2019-05-28 02:20 被阅读3次

    技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文将介绍数据仓库架构师的岗位工作职责及应具备的能力。如下图所示:

    技术研发类岗位

    数据仓库的开发和管理在大数据时代显得尤为重要,相关的数据库管理、运维和开发技术,将成为广大BI、大型企业和咨询分析机构特别看重的技能体现。而之前一般企业中的数据仓库架构师都由数据部门开发经理兼任,同时数据仓库团队工作内容比较纯粹,所以该职位可视数据仓库量级和企业实际情况而定,由其他职位兼任或单独设立都可。

    数据仓库架构师的主要责任有:数据仓库的架构设计及数据集市建设,带领团队落地及后续的运维,负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理,并要稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。

    在技能要求上,精通SOL、SSIS、SSRS和OLAP等进行数据库及数据模型设计,如使用Oracle/HANA建立数据仓库,熟悉Kettle、Informatic、Datastage、DataService等ETL开发工具(目前很多ETL工具也支持Hadoop),了解行业内的各种数据仓库应用案例和商业智能(BI)实时动态。如使用Hadoop、Storm、Spark建立数据仓库,精通大数据分布式平台技术,熟悉Java、Scala、Map/Reduce、HiveSQL、SparkSQL等技术。同时,根据企业数据仓库技术发展的实际情况,可能需要使用Oracle与Hadoop相结合的方式完成工作。

    相关文章

      网友评论

        本文标题:数据仓库架构师的岗位工作职责及应具备的能力

        本文链接:https://www.haomeiwen.com/subject/kxhftctx.html