大数据岗位要求之数据仓库

    继续介绍大数据系列岗位的要求，今天是数据仓库岗位，数据仓库岗位在“大数据”这仨字出来之前就已经存在好多年，不过基本是在传统的银行、通信运营商行业。还是先从几个大厂的岗位要求说起(其中小影公司名气不是很大，故意加进来和达成做对比)

今日头条

1.重点本科及以上学历毕业，3年以上数据仓库经验。
2.熟练掌握Java 编程语言，并熟悉 Shell，Python 等一门以上脚本语言；
3.熟悉掌握SQL语言和正则表达式；
3.熟悉 Linux/Unix 环境，有 Hadoop 框架开发经验；
4.了解 Hive，Hbase，Klyin等一种以上大数据处理工具和技术；
5.逻辑思维能力强，对数据敏感，有较强的学习能力和创新思维；
6.具备良好的沟通能力和文字表达能力，有较强的团队协作能力。

网易

1.熟练掌握hive、spark等大数据工具，有数据仓库、数据分析的工作经验；
2.熟悉数据仓库模型设计 ，掌握常用数据建模方法，具备海量数据加工处理（ETL）相关经验；
3.较好的业务理解能力，良好的语言沟通与表达能力
4.热爱技术，勤于钻研，追求极致；
5.良好的技术视野，能适应新业务新技术快速的发展变更，对新业务/新技术有持续学习的热情；
6.优秀的分析问题解决问题能力，喜欢挑战自己，良好的沟通能力。

华为

1、 计算机、数学、统计等相关专业毕业；
2、 4年以上大型数据仓库架构经验；
3、 深入理解数据仓库理论、体系架构、数据架构、模型设计、元数据管理及数据质量控制；　　
4、 熟悉ETL设计及相关工具使用；
5、 熟悉JAVA语言，熟悉shell、perl、python等脚本语言；
6、 熟悉Linux或Unix平台，数据数据仓库周边开源工具；

蚂蚁金服

1、熟悉数据仓库建模理论，至少有3年以上相关领域实践经验
2、熟悉Hadoop、Hive、Spark等大数据技术者优先
3、具备海量数据处理以及性能优化的能力；熟练使用Python/Java或其他语言进行复杂业务逻辑的数据处理工作更佳
4、对MySQL、Redis、HBase等数据库有一定的了解和使用经验
5、强烈的责任心，对海量数据处理和分析有热情

小影

1. 具有很强的开发和动手能力，熟悉一种以上编程语言，如Java、Python等；
2. 深入理解常用的数据建模理论，可独立把控数据仓库各层级的设计；对第三方开源工具（如kylin、metabase等）有深入了解
3. 五年及以上ETL开发经验，理解数据治理的重要性；
4. 丰富的大数据系统使用和开发经验，熟悉分布式处理和流计算等系统（不限于Odps/flink/Hadoop/Hive/Hbase等）

能力三核模型分析

数据仓库.jpg

综合结果如下

知识

1、本科及以上学历(1)
2、计算机、数学、统计相关专业(1)

硬技能

1、3年及以上数据仓库经验(5)
2、熟悉数据仓库建模理论(4)
3、熟悉并掌握java、shell、python一种语言以上(3)
4、熟练掌握hive、hbase大数据处理工具(3)
5、有ETL开发经验(2)

才干or软技能

1、良好的沟通与表达能力(2)
2、较强的团队协作能力(1)
3、较强的学习能力(1)
4、较强的业务理解能力(1)

个人经验

    数据仓库在大数据兴起之前在传统行业还是非常受重视的，大数据火了之后数据仓库工程师一夜之间不受所有人的待见了(包括用人单位)，这里我要为数据仓库岗位打个call，这个岗位是非常非常重要的，数据分析师、数据产品经理、数据挖掘工程师如果想有高效的、高价值的数据产出绝对离不开数据仓库工程师。其中互联网的数据“大”&“脏”2个特点更加需要数据仓库模型架构师来做底层数据模型的建设和把关。
    从上面硬技能中第三条(熟悉并掌握java、shell、python一种语言以上(3))来看，相比几年前对数据仓库岗位的要求是更高了的，以前更多的是要求在数据库方面的熟悉和精通，现在要求的都比较少了。但是实际情况是数仓的同学不但没有随着要求的提升而提升自身的能力，而且把之前数仓必备的要求也都给丢掉了，比如数据仓库建模理论、数据库的基本优化功底等。这点也是从最近几年招聘的数仓同学身上看出来的实际行情。个人觉得非常可惜，真想大声问一下“还有纯正的数仓同学吗”？

系列文章

大数据岗位要求之数据产品经理
大数据岗位要求之数据分析师
大数据岗位介绍-引子(能力三核模型)