一
什么是大数据?相关职位有哪些?
01
什么是大数据
大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据有以下三个特点:大批量(Volume)、高速度(Velocity)和多样化(Variety) 。
大批量 – 大数据体积庞大。企业里到处充斥着数据,信息动不动就达到了TB级,甚至是PB级
高速度 – 大数据通常对时间敏感。为了最大限度地发挥其业务价值,大数据必须及时使用起来
多样化 – 大数据超越了结构化数据,它包括所有种类的非结构化数据,如文本、音频、视频、点击流、日志文件等等都可以是大数据的组成部分
大数据相关工作主要是指基于各种分析手段对大数据进行科学分析、挖掘、展现,以辅助企业做出商业决策。
02
国内外领先的大数据公司有哪些?
国内:阿里巴巴、华为、百度、腾讯、浪潮、探码科技、中兴通讯、神州融、中科曙光、华胜天成、用友等。
国际:IBM、惠普、Splunk、戴尔、Opower、Teradata、甲骨文、微软、亚马逊、谷歌、New Relic、Alation等。
对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手,其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享!
03
大数据相关岗位及职责
1.大数据开发工程师
开发,建设,测试和维护架构;负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等
2.数据分析师
收集,处理和执行统计数据分析;运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用能力
3.数据挖掘工程师
数据建模、机器学习和算法实现;商业智能,用户体验分析,预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求
4.数据架构师
需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署;高级算法设计与优化;数据相关系统设计与优化,需要平台级开发和架构设计能力
5.数据库开发
设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等
6.数据库管理
数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等
7.数据科学家
数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换
8.数据产品经理
把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具,业务线提供更加贴近业务的分析框架和数据应用
04
大数据岗位的职业发展
由于目前大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有的时候成功就是这样,方向和平台选择对了,只要付出足够的汗水,选择大于努力。
二
大数据分析师介绍
01
大数据分析师及其主要职责介绍
大数据分析师是指基于各种分析手段对大数据进行科学分析、挖掘、展现,以辅助企业做出商业决策。一般来讲数据分析师的任务是对数据进行清洗、分析以及可视化。在不同的行业,大数据分析师的头衔也可能不一样,比如:业务分析师、商业智能分析师、运营分析师、数据库分析师等等。
大数据分析师可以使企业清晰的了解到企业现状与竞争环境,风险评判与决策支持,能够充分利用大数据带来的价值,在进行数据挖据与展现后,呈现给企业决策者的将是一份清晰、准确且有数据支撑的报告。所以,大数据分析师已经不是简单的IT工作人员,而是可以参与到企业决策发展制定中的核心人物。
02
大数据分析师就业前景及薪资
1.就业前景
从20世纪90年代起,欧美国家开始大量培养数据分析师,直到现在,对数据分析师的需求仍然长盛不衰,而且还有扩展之势。
根据美国劳工部预测,到2019年,数据分析师的需求量将增长40%。在数据分析行业发展成熟的国家,90%的市场决策和经营决策都是通过数据分析研究确定的。
据数联寻英发布《大数据人才报告》显示,未来3-5年内大数据人才的缺口将高达150万。根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT等大型互联网公司的招聘职位里,80%以上都在招大数据人才。进入大数据行业,也成了越来越多人实现职场高薪梦的路径之一。
2.大数据分析师薪资
在美国,大数据分析师每年薪酬高达17.5万美元。
而国内顶尖互联网公司,大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%,且颇受企业重视。
国内某大型招聘平台给出的大数据分析师平均薪酬为:9724K(取自1139份样本),北京、上海、广州、深圳、杭州、南京、武汉、成都、长沙为大数据分析师需求量前九的城市。
03
成为大数据分析师的条件
硬性条件:
数据分析师角色/任务:收集,处理和执行统计数据分析
必备语言:java、R、Python、HTML、Javscript、C/C++、SQL等
技能和特长:电子表格工具(例如Excel),数据库系统(SQL和基于NOSQL),通信可视化,数学,统计,计算机,机器学习等
软性条件:
懂业务:从事数据分析工作的前提就会需要懂业务,即熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析就没有太大的使用价值
懂管理:一方面是搭建数据分析框架的要求,比如确定分析思路就需要用到营销、管理等理论知识来指导,如果不熟悉管理理论,就很难搭建数据分析的框架,后续的数据分析也很难进行;另一方面的作用是针对数据分析结论提出有指导意义的分析建议
懂分析:指掌握数据分析基本原理与一些有效的数据分析方法,并能灵活运用到实践工作中,以便有效的开展数据分析。基本的分析方法有:对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等
懂工具:指掌握数据分析相关的常用工具。数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠计算器进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作
懂设计:懂设计是指运用图表有效表达数据分析师的分析观点,使分析结果一目了然。图表的设计是门大学问,如图形的选择、版式的设计、颜色的搭配等等,都需要掌握一定的设计原则
三
学什么专业可以做大数据分析
上面我们介绍了数据分析师所需要的硬实力和软实力。那么我们就从硬实力和软实力这两个方向分别来分析什么专业可以从事大数据分析师。
硬实力:数据分析师需要学生有一定的数学、计算机背景,从这个出发点来说,数学、统计、计算机科学等专业可以从事数据分析工作。
不过,这三个专业的同学可以虽然可以处理大量数据,并且拥有很强的数据分析能力,但是这类同学对于Business 和 Marketing缺乏了解,数据分析的结果对于企业并无太大收益。
软实力:软实力要求学生懂业务、懂管理,从这个出发点来说,市场营销、电子商务、经济学等专业毕业后也可以从事数据分析相关工作。
不过,这几个专业在业务方面可能专业度非常高,但是缺点也是非常明显的:缺乏很强的数学和计算机背景,在实际操作中缺乏相关的专业技能。
网友评论