创始人:人称Hadoop之父的Doug Cutting
,Apache软件基金会主席,是Lucene、Nutch 、Hadoop等项目的发起人。
最开始Hadoop只是Apache Lucene的子项目Nutch的一部分。
Lucene
是全球第一个开源的全文检索引擎工具包,想必做过Javaweb的搜索功能的同学都接触过。
它有完成的查询引擎和部分文本分析引擎。
Nutch
基于Lucene,并具有网页抓取和解析的功能,可以实现一个搜索引擎的开发,但是如果投入使用的话就必须在极短时间内做出反应,并且能够实现短时间内对亿级数量的网页进行分析处理,这就需要考虑分布式任务处理、故障恢复、负载均衡这些问题。
后来Doug Cutting 借鉴谷歌的Google File System
和MapReduce:Simplified Data Processing On Large Clusters
两篇论文,移植了其中的技术,并将其命名为:Hadoop。
网友评论