大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将产生重大而深远的影响。
大数据使用的技术
说起大数据，大数据有三个层数据采集、存储、计算三层。
第一个是数据采集层，以App、saas为代表的服务。
大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。
第二个数据存储层，比如云存储，需掌握的技术有：hbase、hive、sqoop等。
比如：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。
HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
第三个是数据计算应用层，以数据为基础，为将来的移动社交、交通、教育，金融进行服务，涉及到大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等，以及大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。
大数据的岗位
1.数据分析师Data analyst
指熟悉相关业务，熟练搭建数据分析框架，掌握和使用相关的分析常用工具和基本的分析方法，进行数据搜集、整理、分析，针对数据分析结论给管理销售运营提供指导意义的分析意见。
2.数据架构师Data architect
对Hadoop解决方案的整个生命周期进行引导，包括需求分析，平台选择，技术架构设计，应用设计和开发，测试和部署。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。
3.大数据工程师Big DataEngineer
收集和处理大规模的原始数据（包括脚本编写，网页获取，调用APIs，编写SQL查询等）；将非结构化数据处理成适合分析的一种形式，然后进行分析；根据所需要的和专案分析商业决策。
4.数据仓库管理员
Data warehousemanager：指定并实施信息管理策略；协调和管理的信息管理解决方案；多个项目的范围，计划和优先顺序安排；管理仓库的各个方面，比如数据外包，移动，质量，设计和实施。
5.数据库管理员Database manager
提高数据库工具和服务的有效性；确保所有的数据符合法律规定；确保信息得到保护和备份；做定期报告；监控数据库性能；改善使用的技术；建立新的数据库；检测数据录入程序；故障排除。
6.商业智能分析员Businessintelligence analyst
报告或者元数据增强来进行传播信息；进行或协调测试，以确保情报的定义与需求相一致；使用商业智能工具来识别或监测现有和潜在的客户；综合目前的商业只能和趋势数据，来支持采取行动的建议；维护或更新的商业智能工具，数据库，仪表板，系统或方法；及时的管理用户流量的商业情报。
观向数据是一款针对品牌商、零售商和金融的线上运营数据分析系统，可以汇集多平台、多维度数据，形成可视化报表，为企业提供行业分析、渠道监控、数据包等服务，帮助企业品牌发展提供科学化决策。
网友评论