0x00 前言
最近发现身边有不少小伙伴想转行做数据工程师,聊天的过程中发现大家对该如何入门有很多迷茫的地方,周末写篇博客记录一下。
哪些人适合继续阅读
数据工程师该如何入门?话题有点大,而且每个人的理解都很不一样,因此我们会先限定一下会对这个话题感兴趣的人群:
- 做了几年其它软件开发,发现大数据方向更有前景
- 在校的童鞋,毕业后想搞数据开发,但是学校没相关课程
- 没搞过软件开发,对之前的工作没信心想搞互联网,发现大数据方向挺不错
本文结构
前面已经限定了一个大致的话题范围,下面介绍一下主要的文章结构:
- 数据工程师的日常工作,或者是什么是数据工程师
- 数据工程师需要具备什么技能
- 该怎么学
0x01 数据工程师的技能树
1. 什么是数据工程师
数据工程师这个概念其实很模糊,不同的人和公司对它赋予的含义也区别很大,感兴趣的可以看一下我前面的几篇文章。在这里,我们大概聊一下一般意义上的数据工程师在工作中会做什么?
- 集群运维:安装、测试、运维各种大数据组件
- 数据开发:细分一点的话会有ETL工程师、数据仓库工程师等
- 数据系统开发:偏重Web系统开发,比如报表系统、推荐系统等
网友评论