目录：

一、大数据相关职位介绍（数据来源于拉钩、智联）

（一）大数据相关职位列举

（二）每个相关职位的岗位职责与要求

二、非程序员转型大数据职位推荐与SWOT分析

（一）金融财会，统计，其他商科转型大数据。

（二）非科班理工科转型大数据

（三）除了第 1 条以外的文科专业同学转型大数据。

三、程序员转型大数据职位推荐与SWOT分析

（一）Java 后端 / Java Web 程序员转型大数据。

（二）Python 程序员转型大数据。

（三）数据库相关工作人员转型大数据。

（四）运维相关工作人员转型大数据。

（五）其他（如前端，实施人员等）

本次的的文章主要分享第一节

一、大数据相关职位介绍（数据来源于拉钩、智联）

既然要转型大数据，那从职业的角度先为大家介绍一下大数据相关的职位。

我推荐一个学习交流群：784789432

大数据相关的职位列举

（一）开发岗位

ETL工程师

数据仓库工程师

大数据工程师

Hadoop开发工程师

Java大数据工程师

Spark开发工程师

大数据运维工程师

（二）数据岗位

数据可视化工程师

机器学习算法工程师

数据挖掘工程师

大数据分析师

（三）综合岗位

大数据架构师

大数据科学家

（四）职能岗位

大数据产品经理

数据运营

BI工程师

商业分析师

每个相关职位的岗位职责与要求

01. ETL工程师（参考微贷网招聘信息）

岗位职责：

a. 负责数据仓库工具开发，

b. 负责外围系统建设和数据仓库建设，

c. 针对业务场景编写ETL通用工具脚本，

d. 数据字典编写，形成对其它团队的数据接口文档；

岗位要求：

a. 熟悉Hive、Mysql、HBase中的一种并熟悉SQL。

b. 对数字或互联网金融领域敏感，对数据建模、存取、处理、可视化等相关技术有很强的学习热情。

c. 熟悉数据仓库任务调度。

d. 熟悉linux，熟悉LINUX常用命令，至少熟悉python,php,shell等一种脚本语言。

e. 了解HADOOP，HIVE有使用这两个平台，或有在上面开发过相关应用。

f. 熟悉DataStage、Informatica、微软DTS、OWB、Kettle中的一种或多种ETL工具,能够熟练的进行事实表、维度表、汇总表的ETL开发。

g. 具备良好的沟通能力，做事认真、仔细，有责任心，具有团队协作能力。

优先考虑：

a. 有分布式存储/实时计算开发经验优先

b. 熟悉PostgreSQL、Greenplum优先

c. 熟悉Hadoop、Spark技术优先

d. 有海量数据处理经验者优先

02. 数据仓库工程师（参考贝贝网招聘信息）

岗位职责：

a. 基于大型分布式平台的数据仓库模型设计及实现。

b. ETL开发、优化、技术攻关，BI报表定制开发数据支持。

c. 协助建立数据模型，对数据进行挖掘、优化及统计。

d. 负责企业级数据仓库架构设计、建模以及ETL开发，构建可扩展的数据仓库解决方案。

e. 负责公司日常运营报表开发维护，和业务及分析部门沟通协作，提供多层面数据服务。

f. 提供完善的数据保障体系，包括元数据管理、数据质量、数据安全等。

岗位要求：

a. 两年以上数据仓库实施经验，ETL实施经验，认可数据产生价值。

b. 理解数据库原理，熟练Mysql，了解Hadoop，Hive，Spark。

c. 熟悉Linux 操作系统，熟练掌握 Shell、Python。

d. 具备较强的业务理解能力和项目管理、推动力。

e. 熟悉数据标准管理、元数据管理、数据质量管理，对整体数据有综合的把控能力。

f. 计算机或相关专业本科及以上学历 。

g. 具有丰富的数据开发经验，对数据处理、数据建模、数据分析等有深刻认识和实战经验。

h. 熟悉SQL，有一定的SQL性能优化经验。

i. 熟练掌握Java语言，MapReduce编程，脚本语言Shell/Python/Perl之一。

j. 业务理解力强，对数据、新技术敏感，对云计算、大数据技术充满热情。

k. 积极乐观、诚信、有责任心；具备强烈的进取心、求知欲及团队合作精神。

优先考虑：

暂无

03. 大数据工程师（参考京东招聘信息）

岗位职责：

a. 负责大数据处理中的各个环节，参与需求分析、架构设计、技术决策以及详细设计。

b. 为现有大数据Hadoop、hive平台提供性能调优、架构优化重组，解决系统中的关键问题和技术难题。

c. 把握基础业务复杂系统的设计，确保系统的架构质量，编写核心部分代码。

d. 持续挑战新的技术方向，攻克大数据量，高并发，高稳定性，易用性等各种技术难点。

岗位要求：

a. 本科或以上，计算机软件或相关专业毕业。

b. 扎实的编程能力，熟悉算法和数据结构，熟悉计算机的基础理论。

c. 熟悉大数据处理相关技术，包括但不限于 Hadoop、Hive 、Hbase、Impala、Spark 、Kafaka、Flume、Sqoop 、Storm、Redis等。

优先考虑：

熟悉推荐系统和数据挖掘算法者优先。

04. Hadoop开发工程师（参考京东金融招聘信息）

岗位职责：

a. 负责Hadoop系统的资源管理和日常维护。

b. 负责Hive/HBase/Spark/Impala等组件的优化和二次开发。

岗位要求：

a. 熟悉Hadoop、Hbase、Hive，5年以上Hadoop开发经验。

b. 理解MapReduce计算框架的思想，熟悉分布式计算模型或有高效索引 技术经验者优先。

c. 精通JAVA语言，熟悉J2EE相关技术。

d. 至少熟练使用Shell、Python、Perl等脚本语言之一。

e. 热爱技术，工作认真、严谨，有团队精神。

优先考虑：

a. 熟悉主流数据挖掘算法开发。

b. 有github开源项目优先。

c. 有技术博客优先。

05. Java大数据工程师(参考喜马拉雅招聘信息)

岗位职责：

a. 负责公司大数据相关系统和平台的设计和开发

b. 负责公司数据业务开发，包括分析、统计、推荐等系统

c. 研究Hadoop/Spark/Hbase/Storm/ES等开源项目，进行系统优化和二次开发

岗位要求：

a. 扎实的计算机系统和算法基础知识；良好的英文阅读能力。

b. 扎实的Java语言基础，对JVM运行机制有深入了解。

c. 丰富的Java开发经验，对大数据领域和框架感兴趣，并有所了解。

d. 对Scala语言有所了解，愿意深入学习。

e. 对常见开源框架代码有研究。

f. 熟悉SQL和noSQL的设计和开发。

g. 熟悉企业应用设计模式、面向对象的分析和设计技术，包括设计模式、UML建模等。

h. 善于思考，能独立分析和解决问题，热衷于互联网技术的研究和创新。

i. 责任心强，具备良好的团队合作精神。

优先考虑：

暂无

06. Spark开发工程师（参考网易招聘信息）

岗位职责：

a. 负责网易大数据平台的Spark、Spark Streaming技术研发、性能优化、问题诊断

b. 负责网易云托管Hadoop产品（EMR）研发

岗位要求：

a. 两年以上大数据平台设计和开发经验，具备优秀的编程能力和良好的开发习惯。

b. 具备独立架构设计、内核开发、测试与运维的能力，有过大规模系统设计和工程实现的经验。

c. 熟悉Spark、Spark SQL和Spark Streaming内核原理；了解Hadoop生态组件相关技术，例如Hadoop、Hive、Storm等。

d. 精通Java、Scala语言，熟悉Linux 操作系统，熟练使用Python、Shell脚本语言。

e. 具有认真的技术态度，良好的团队沟通和协作能力。

优先考虑：

有深入研究过Hadoop/Spark源码者优先。

07. 大数据运维工程师（参考美图大数据事业部招聘信息）

岗位职责：

a. 负责公司大数据通用服务集群相关组件的支撑保障（包括如：Hadoop/Hbase/Hive/Yarn/Spark/Storm/Kafka/Elasticsearch等）

b. 负责集群容量规划、扩容及性能调节优化。

c. 参与业务架构设计，在设计阶段给出可运维性及可扩展性方面的改进建议。

d. 深入研究大数据业务相关运维技术，持续优化集群服务架构，调研集群资源调度技术及平台方向。

岗位要求：

a. 至少掌握java/python/shell中的一种语言。

b. 熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch等开源组件项目优先。

c. 熟悉Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题。

d. 良好的客户服务意识，强烈的责任心和使命感，执行力强，富有团队合作精神。

e. 对大数据方向运维有很高的热情和兴趣，能主动学习了解相关知识。

优先考虑：

掌握ansible、yarn及mesos应用的优先。

08. 数据可视化工程师(参考滴滴出行招聘信息)

岗位职责：

a. 负责滴滴第一大战略业务-智慧交通业务数据可视化的整体设计与实现，搭建一套业内顶尖的数据可视化平台(对标echars,datav,raydata) 。

b. 负责数据可视化组件开发及新型展现形式研发；支持智慧交通及数据平台的相关可视化展示。

c. 深入理解主要数据可视化展现形式，针对实际场景梳理数据信息，提出专业的数据可视化元素使用意见。

d. 技术挑战大，海量交通数据的动态，多维展示，在性能和效果层面达到业内顶尖 。

岗位要求：

a. 对数据可视化有热情，了解业界发展现状和趋势，熟悉相关工具和技术，对于数据可视化有一定个人见解。

b. 熟练掌握各项Web前端技术 (HTML/CSS/Javascript) ，了解svg，canvas，webgl技术。

c. 在地图/gis相关数据可视化有过开发经验。

d. 具有计算机图形学理论基础，熟悉数据可视化相关基础算法。

e. 有过dashboard，大屏，数据展示各种开发经验，熟悉e-charts等工具。

优先考虑：

暂无

09. 机器学习算法工程师

岗位职责：

a. 使用机器学习算法解决常见的业务问题，使用的算法包括常用的图像处理、自然语言处理算法、机器学习推荐算法等。

b. 挖掘各种来源的非结构化数据。

c. 决方案，评估并优化模型。

岗位要求：

a. 计算机、数学或相关专业本科以上学历。

b. 一年以上机器学习项目经验，有深度学习项目经验优先，善于将业务问题抽象为机器学习问题。

c. 熟悉常用的分类聚类算法，清楚了解算法原理并能做一定的改进。

d. 了解深度学习模型如CNN、RNN、GAN等。

e. 熟悉常用参数调整策略。

f. 熟练掌握Java/Python一种或多种。

优先考虑：

a. 熟悉常用的深度学习计算框架scikit-learn、对tensorflow熟悉者优先。

b. 熟悉大数据开发者优先。

10. 数据挖掘工程师（参考小米招聘）

岗位职责：

a. 负责小米公司的数据收集、数据挖掘和数据产品的开发工作。

b. 建设小米的用户画像和用户标签体系。

c. 使用大数据技术赋能小米各业务线，包含新零售，广告，金融，AI手机等。

d. 从事大数据相关方向的前沿性研究。

岗位要求：

a. 有扎实的编程能力和算法基础。

b. 掌握Java、Scala、Python等至少一门常用语言，熟悉数据结构和算法。

c. 熟练掌握概率统计，具有很强的数据分析能力与敏感度，能快速从给定的数据中找出规律。

优先考虑：

a. 熟悉分布式/高性能计算系统，有hadoop、spark、mpi等开发经验者优先。

b. 对行为预测、自然语言、用户画像、社交网络、时空大数据等领域有深入实践者优先。

11. 大数据分析师(参考VIPKID招聘信息)

岗位职责：

a. 负责大数据相关产品的规划与设计，进行需求分析、数据打点、形成产品设计以及原型构建。

b. 根据新的业务需求，通过数据分析提出创新性的解决方案，并形成数据产品。

c. 对于产品改版迭代进行分析，基于数据为产品改进提供建议，与产品经理协作，对现有产品进行应用创新。

岗位要求：

a. 统计学、应用数学或计算机等相关专业本科及以上学历。

b. 有较丰富的BI数据产品实践经验，包括需求调研分析、数据模型设计、内外部资源协调、产品运营管理等。

c. 熟悉SQL，excel，熟练使用SPSS／SAS／Python/中的一种或几种。 - d. 学习沟通能力强，能快速熟悉理解复杂业务，逻辑思维能力强，善于通过数据挖掘产品改进点。

e. 强烈责任心，开放的性格，乐观的心态。

优先考虑：

了解Hadoop，HDFS，Hive等分布式大数据技术，能与技术人员良好沟通的优先考虑。

12. 大数据架构师（参考映客直播招聘信息）

岗位职责：

a. 负责大数据项目整体架构规划，包括应用架构、技术架构、物理架构和数据架构等。

b. 负责指导工程师进行技术验证与实现，核心技术问题的攻关，解决项目开发过程中的技术难题。

c. 负责项目对外技术沟通，具有较强的沟通，表达和文案能力。

d. 根据公司项目和业务发展特点，负责研究相关大数据前沿技术。

e. 负责营造团队技术氛围，推动技术能力的沉淀。

岗位要求：

a. 计算机、信息系统、数学或相近专业本科以上学历，7年以上相关研发经验经验，5年以上大数据研发和架构经验。

b. 精通和全面掌握常用的软件设计方法、计算架构和解决方案，包括面向对象设计、SOA、J2EE、云计算等。

c. 拥有5年以上Hadoop开发设计和实施经验，精通Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于hadoop/hive/spark/impala/elasticsearch/druid/redis/hbase/kafka/flume等，能够熟练安装、配置、部署和优化大型Hadoop集群系统。

d. 有超PB级别大数据处理实战经验，熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖掘和数据可视化，以及架构设计、开发、部署、自动化运维等工作。

e. 有优秀的业务理解能力，能理解清楚业务并进行合理的模块和架构设计。

f. 不怕困难，有关键技术攻关的决心和能力，能够适应和享受高强度高压力的工作。

优先考虑：

有BAT工作经验优先。

13. 大数据科学家（参考好未来招聘信息）

岗位职责：

a. 负责相关大数据应用算法的设计、研发与产品化。包括但不限于数据选品算法、个性化推荐、文本挖掘、图像分析等方向。

b. 独立负责算法类产品的商业需求发掘、技术预研、系统设计，以及推动业务方共同落地，并制定后续运营和优化计划 。

c. 跟踪最新最热的机器学习算法理论进展（如deep learning），并且将优秀的算法应用到业务场景当中，提升业务效果。

岗位要求：

a. 计算机、统计、数学相关专业博士及以上学历，3年以上的互联网公司机器学习、文本挖掘、图像识别、搜索或广告算法研发经验。

b. 精通Java、C++、Python、R、Matlab等的一种或几种开发语言；精通hadoop/hive/mahout/MPI/spark等一个或多个分布式计算框架/算法平台。

c. 聪明和自我学习。

d. 优秀的沟通和表达能力，清楚的表达个人想法、理解他人观点，具备团队合作意识和推动协作达成的能力。

优先考虑：

对数据敏感，快速的发现关键问题，超强的业务建模能力，并且持续的迭代优化。

14. 大数据产品经理

岗位职责：

a. 负责数据产品规划，以产品的视角组织数据，给运营人员提供基于数据的业务指导。

b. 数据需求分析：收集各个业务部门的数据需求，将需求汇总、整合、形成数据数据产品文档。

c. 参与内部数据平台建设：推动公司数据化运营的发展，提供数据数据化运营工具。

d. 为团队内部定期提供数据报告。

岗位要求：

a. 二年以上互联网产品经验或数据产品经验，熟悉产品设计流程，熟练应用Axure等产品原型设计工具。

b. 具有扎实的产品设计、文档策划功底和较丰富的项目管理经验。

c. 对数据敏感，有数据分析系统设计、报表系统设计经验者佳。

d. 熟悉数据仓库、商业智能基本理论，有数据分析系统使用经验佳（如GA）。

e. 强烈责任心，开放的性格，良好的沟通能力。

f. 擅于协作，具备良好的团队合作精神。

优先考虑：

暂无

15. 数据运营（参考拉钩招聘业务部招聘信息）

岗位职责：

a. 业务流程中关键节点的跟踪与反馈。

b. 对接业务模块Leader进行项目数据收集及汇总。

c. 保证业务数据的准确性，并进行记录、清洗、汇总与呈现。

d. 其他业务体系内运营工作。

岗位要求：

a. 本科及以上，经管会计类专业优先。

b. 优秀的沟通能力和抗压能力，性格乐观皮实，不拘泥不固执。

优先考虑：

暂无

16. BI工程师（参考每日优鲜招聘信息）

岗位职责：

a. 了解业务团队的业务数据需求，完成相关数据支持。

b. 完成各种面向业务目标的数据模型的定义和应用开发规范的制定，并保证数据质量。

c. 协调解决数据处理过程中出现的问题。

岗位要求：

a. 本科以上学历，2年以上相关工作经验。

b. 具有海量数据建模实践经验，有BI架构体系建设经验。

c. 熟练使用sql语句，会写存储过程。

d. 最好有python、Hadoop、hive、ES等相关经验。

e. 具有良好的沟通能力、自我学习能力、团队协作能力。

优先考虑：

暂无

17. 商业分析师（参考猫眼电影招聘信息）

岗位职责：

a. 理解业务方向和战略，为管理层提供决策支持，竞争分析及建议。

b. 针对公司业务，通过深度分析进行数据价值挖掘，提供业务策略支持。

c. 配合各业务部门项目，给予数据支持，从多种数据源组合数据进行深度诊断分析，完成业务专题分析，输出核心业务报告。

d. 建立业务关键指标监控体系，搭建数据分析平台。

岗位要求：

a. 两年以上相关工作经验，互联网公司商业分析、数据分析、BI工作背景。

b. 优秀的商业分析能力（结构化思维）、敏锐的数据洞察力。

c. 具备良好的沟通协调能力、学习能力，成就驱动，具有团队合作精神。

d. 熟练使用Mysql、PPT、Excel等工具。

优先考虑：

数学、统计学背景优先。

备注：

不同公司对同一个职位的要求是有差异的，所以以上信息仅供参考，还需要具体情况具体对待。

尽量选择了一下比较大的公司做参考，这样具有代表性。

没有选择BAT的招聘信息，有两个原因：第一，BAT的招聘信息太过于抽象。第二，BAT一般走校招，比较注重基础和发展潜力，不在本文讨论范围内。

欢迎加入大数据学习交流群：784557197