美文网首页
Hadoop诞生历史

Hadoop诞生历史

作者: Mr张巍瀚 | 来源:发表于2017-11-04 23:01 被阅读0次

    创始人:人称Hadoop之父的Doug Cutting,Apache软件基金会主席,是Lucene、Nutch 、Hadoop等项目的发起人。

    最开始Hadoop只是Apache Lucene的子项目Nutch的一部分。
    Lucene 是全球第一个开源的全文检索引擎工具包,想必做过Javaweb的搜索功能的同学都接触过。
    它有完成的查询引擎和部分文本分析引擎。
    Nutch基于Lucene,并具有网页抓取和解析的功能,可以实现一个搜索引擎的开发,但是如果投入使用的话就必须在极短时间内做出反应,并且能够实现短时间内对亿级数量的网页进行分析处理,这就需要考虑分布式任务处理、故障恢复、负载均衡这些问题。
    后来Doug Cutting 借鉴谷歌的Google File SystemMapReduce:Simplified Data Processing On Large Clusters两篇论文,移植了其中的技术,并将其命名为:Hadoop。

    Q: Hadoop的图标为什么是一个大象呢?

    A: 因为他的儿子有一个玩具叫Hadoop的大象!学语言的应该会接触到很多动物,比如说蟒、猫、海豚、鲸鱼BlaBlaBla。

    相关文章

      网友评论

          本文标题:Hadoop诞生历史

          本文链接:https://www.haomeiwen.com/subject/qqgqmxtx.html