美文网首页
大数据学习day_2

大数据学习day_2

作者: Sakura_P | 来源:发表于2017-07-19 01:18 被阅读0次

思考问题

hadoop是什么?

  1. hadoop是一个由Apache基金会所开发的支持数据密集型分布式系统的基础架构。
  2. hadoop特点是可以让用户在不了解分布式底层细节的情况下,开发分布式程序;能够利用集群的威力进行高速运算和存储。

hadoop有哪些部分构成?

  1. hadoop框架地为应用提供可靠性和数据移动。核心设计就是HDFS(Hadoop Distributed File System) 和 MapReduce。
  2. hadoop实现了MapReduce的编程范式:应用程序被分区成许多小部分,而每个部分都能在集群中的任意节点上运行或重新运行。
  3. hadoop还提供了分布式文件系统,用以存储所有的计算节点的数据,这为整个集群带来了非常高的带宽。
  4. 子项目介绍
    --Hadoop Common
    Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。
    --Avro
    Avro是doug cutting主持的RPC项目,有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC,使hadoop的RPC模块通信速度更快、数据结构更紧凑。
    --Chukwa
    Chukwa是基于Hadoop的大集群监控系统,由yahoo贡献。
    --HBase
    基于Hadoop Distributed File System,是一个开源的,基于列存储模型的分布式数据库。
    --HDFS
    分布式文件系统
    --Hive
    hive类似CloudBase,也是基于hadoop分布式计算平台上的提供data warehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据的汇总,即席查询简单化。hive提供了一套QL的查询语言,以sql为基础,使用起来很方便。
    --MapReduce
    实现了MapReduce编程框架
    --Pig
    Pig是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以定义自己的功能。Yahoo网格运算部门开发的又一个克隆Google的项目Sawzall。
    --ZooKeeper
    Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

hadoop主要工具有哪些?

不是很理解题目意思
hadoop开源工具集合学习链接

http://blog.csdn.net/zyj8170/article/details/72636959

相关文章

  • 02:元组tuple

    python学习day_2: 四种组合数据类型(list:列表 tuple:元组 set:集合 dict...

  • 大数据学习day_2

    思考问题 hadoop是什么? hadoop是一个由Apache基金会所开发的支持数据密集型分布式系统的基础架构。...

  • Day_2

    进度:习题10-17 提示 '''print'what's your name? '''' 转义序列 ‘ ' ’ ...

  • 20190109

    看看这本书 -《Android游戏编程之从零开始》 Day_2 2019/01/09 Canvas 画布 画布类C...

  • Jquery day_2

    1.1 jQuery 属性操作 jQuery 常用属性操作有三种:prop() / attr() / data()...

  • 深度学习图像视频标注工具及数据集汇总

    “大数据时代”,数据为王!无论是数据挖掘还是目前大热的深度学习领域都离不开“大数据”。 对于监督学习算法而言,数据...

  • DAY_2:行动力

    Q:有什么相见恨晚的知识想推荐给年轻人? A:做你害怕做的事情,然后你会发现,不过如此。 上面这段出自知乎,是我觉...

  • day_2 完善DBHelper

    在写获取用户操作记录的时候发现,插入用户操作时有点问题,因为主键的选择并不能完全区分每一条操作,就算是加上每次的日...

  • 乐的叨叨 DAY_2

    2020年真是个多事之秋,国内疫情稍有好转,国外居然紧随其后,害的我们这些做外贸为主的个体户是步履维艰。最近...

  • 2017大数据学习,全在这了

    最近几年,大数据大热,预测2017年大数据将持续火爆下去。所以,大数据的学习已经刻不容缓了。不知道从何学起?别慌,...

网友评论

      本文标题:大数据学习day_2

      本文链接:https://www.haomeiwen.com/subject/jsukkxtx.html