美文网首页大数据,机器学习,人工智能玩转大数据大数据
大数据开发:架构师、高级开发、普通工程师的职业要求的区别在哪里?

大数据开发:架构师、高级开发、普通工程师的职业要求的区别在哪里?

作者: bd8941f5f5cc | 来源:发表于2019-09-30 21:44 被阅读0次

    大数据平台架构师

    工作职责:

    1、负责开发框架搭建和架构设计,输出架构设计文档并指导详细设计;

    2、负责开发中重要难点的研究、处理和解决;

    3、负责系统性能优化方案的提出和实施;

    4、负责大数据相关技术组件的升级、预研和优化;

    5、负责核心代码的开发以及代码检查,以及技术指导。

    任职资格:

    1、五年以上 java 开发经验,三年以上平台化软件架构设计经验,具有优秀的 jvm 调优经验和 linux 优化经验;

    2、具有 ElasticSearch、Kafka、Hbase 等大数据组件的部署和开发经验;

    3、熟悉微服务技术体系,具有成功的微服务项目实施经验;

    4、阅读过 ElasticSearch、Hbase、JanusGraph、Mysql 等数据库源码者优先;

    5、具有大数据平台产品开发设计经验者优先;

    6、具有图数据开发经验者优先。

    大数据高级开发工程师

    工作职责:

    1.负责公司大数据离线、实时平台(如Hadoop/Hive/Storm/Spark)的建设、优化

    2.负责系统设计和核心代码的编写;

    3.负责开发大数据工具,如报表平台、多维度分析工具、ETL平台、调度平台的研发;

    4.负责数据可视化分析平台设计和开发.

    大数据平台开发工程师

    工作职责:

    1. 负责基于Hadoop/Spark/Hbase/Storm/Alluxio等分布式计算存储组件的大数据平台系统架构设计与实现,满足大数据平台Batch/Interact/Streaming/Sophisticated等各种场景的功能性/非功能性需求;

    2. 负责大数据相关业务应用场景,大数据平台相关技术方案设计与项目支持;

    3. 负责大数据平台计算存储层组件,BUG修复/功能&性能增强等相关二次开发;

    4. 负责大数据平台工具层面向用户的功能系统设计与开发实现;

    5. 大数据平台系统运营规范,及运营工具系统的设计与开发实现;

    6. 负责上述大数据平台相关系统的可用性、容量、性能、监控、发布、安全等运营管理工作,确保系统持续稳定、高效运行;

    7. 深入理解上述大数据平台组件/系统,及其相关依赖组件/系统架构与工作原理(如Linux OS,MySQL DB等),高效调优排障;

    大数据后台开发工程师

    工作职责:

    负责数据产品基础数据加工、质量管理和应用跟进,包括:

    基础数据模型建设,数据清洗

    数据产品基础数据质量提升,设计数据质量指标运营方案,协同其他团队成员,推进数据质量运营

    构建应用维度数据大盘

    任职要求:

    1、计算机相关专业,本科及以上学历;

    2、3年以上大数据相关经验,包括数据架构,数据模型,数据标准,数据质量等实施经验;

    3、理解数据模型和数据仓库,有ETL、数据仓库或数据集市等项目设计和实施经验者优先;

    4、熟悉linux/UNIX shell、熟悉(python/shell)任意一种脚本语言

    5、对数据敏感,较强的逻辑思维及数据分析能力

    6、具备出色的需求分析能力及快速学习能力,能深入理解复杂的业务逻辑。

    7、具有良好团队协作能力和沟通能力;

    8、能承受较大的工作压力。

    【大数据开发学习资料领取方式】:加入大数据技术学习交流扣扣群522189307,私信管理员即可免费领取开发工具以及入门学习资料

    相关文章

      网友评论

        本文标题:大数据开发:架构师、高级开发、普通工程师的职业要求的区别在哪里?

        本文链接:https://www.haomeiwen.com/subject/uupjuctx.html