大数据开发工程师技能要求总结

总结了几个较好企业的任职要求。

1.编程语言

精通Java或Scala编程语言，熟悉JVM原理与调优，熟悉常用的数据结构，对多线程和网络有更高的要求；

2.大数据相关

精通Hadoop、Spark、Storm等大数据平台的原理，对性能调优有经验；
熟悉Zookeeper、Hive、HBase、Redis、MongoDB、Kafka、Flume、Pig、YARN、Mesos、Logstash、Nomad等组件的使用；

3.技能要求

熟练使用Linux系统，至少熟悉perl/shell/python中的一种脚本语言。
熟练操作SQL，掌握MySQL、Oracle、Postgresql等一种或多种关系型数据库的使用，有一定的SQL调优经验；

重点
1、JVM虚拟机、数据结构与算法、多线程和网络通信
2、Hadoop、Spark、Storm等原理、能分析性能瓶颈，然后进行调优。