大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位指的是针对大数据相关系统、软件、产品和功能进行的开发，而非IT系统的开发。由于大数据类的开发是一个相对完整的工作链，并且具有特殊应用需求和场景特征，因此涵盖了几乎与IT系统相同的职能岗位。技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示：

技术研发类岗位

大数据架构师：作为大数据技术平台成功落地的重要保障，大数据架构师在大数据技术发展之初就已经奠定了必不可少的角色基础，该职位主要负责Hadoop技术解决方案的整个生命周期的解决方案确定并进行引导，包括：大数据需求分析、平台选择、技术架构设计、应用设计和开发、应用测试和部署等大数据实施全流程的跟踪，并在实施过程中带领技术团队，为设计和开发大规模集群的数据处理系统提供技术和管理。

由于角色的重要性，通常情况下该职位应该拥有重点院校计算机相关专业的硕士及以上学历且至少5年以上Java编程经验，精通Java原理和Hadoop、Hive、HBase、Impala、Spark等大数据技术生态体系，熟悉常用的数据挖掘算法，如逻辑回归、决策树、关联规则、序列模式、时间序列、SVM、贝叶斯、聚类等，以便做更好的架构设计方案选型。除以上技术要求外，该岗位聚焦于互联网涉及的各领域平台架构设计，可能会涉及电商平台、虚拟化、云计算、数据分析挖掘等。

作为一个或多个领域的系统架构专家，更要面向未来：设计领先的软件架构，洞察所在领域的系统技术发展趋势，提出新的系统架构理念，主导架构技术项目开展架构原型的验证，保证未来新产品的软件架构具有领先的架构竞争力；改进已有产品的软件架构，分析行业内重点产品的软件架构，识别软件架构设计方面的问题，提出解决建议和方案，并指导改进；提升团队的软件架构设计能力，时刻洞察技术发展动态，指导技术开发人员及时升级系统技术。