美文网首页大数据安全
如何学习大数据

如何学习大数据

作者: haishuiaa | 来源:发表于2016-09-15 10:39 被阅读40次

    即将要从事大数据行业了,对于大数据了解甚少,如何从零开始学习大数据呢

    以下列出我想到的几点

    1.大数据平台的构建

    (1)数据的采集

    (2)数据的存储

    (3)数据的清洗

    (4)数据的整合

    2.大数据分析与建模

    3.大数据的展示

    首先,大数据平台的构建,主要还是考虑在云平台中的海量数据,这里就会涉及到数据的存储,物理存储或是内存存取。

    那么,我们都知道,云计算一般是分为三层,基础设施即服务(Iaas),平台即服务(pass),软件应用即服务(sass).从未接触过云计算的,可能还是晦涩,拿到大数据中,数据的构建主要是在i层和p层,而s层就是我们具体的数据应用价值了

    引自他处

    首先,从数据平台搭建说起,一个数据平台的构建,比较流行的还是hadoop和spark开源组建,i层我们可以使用阿里云

    元数据怎么采集?

    根据数据源可以划分为动态数据的抓取,静态数据的录入

    动态数据抓取,动态数据,可以理解为没有存储在物理设备上的数据,包括流数据,内存数据,动态分析的数据。一般针对于海量的数据获取,全盘接受的话是不太现实,所以在入口处即做条件筛选。以保证数据具有针对性。动态的数据抓取就需要按照一定的规则去处理,这个规则的建立,需要基于某种数学模型。实践中,比较常见的是网页的抓取,以及日志的筛选。动态数据抓取,如果要存放,可以放入内存中

    静态数据录入,简单的一个例子,用户注册,就是用户基本信息的录入,往往,用户的注册信息会存入数据库,也即物理硬盘中。所以,那些频繁使用的数据,建议放入物理库一份

    相关文章

      网友评论

        本文标题:如何学习大数据

        本文链接:https://www.haomeiwen.com/subject/ourbettx.html