Hadoop 之 三足鼎立

作者: 彤庆 | 来源:发表于2015-02-26 22:43 被阅读382次

    上次说到了Hadoop是目前最流行的大数据工具,其核心是HDFS来存储数据和MapReduce来处理数据,但它又不仅仅如此。后来,围绕着Hadoop相继出现了一系列的应用。比如存储结构化数据的HBase,用于和传统数据实现数据迁移的Spooq,SQL接口Hive,用于工作调度的Ozzie,以脚本取代代码完成MapReduce的Pig,机器学习工具集Mahout等等。羽翼渐丰的Hadoop已经一步步从“工具”发展成为“平台”和“生态系统”。可是,一条技术鸿沟却横在了众多企业面前。一方面,无论是金融还是电信,各个领域的大公司都有海量数据处理的需求。而另一方面,他们的IT部门大都不具备部署、维护大规模Hadoop集群,和开发Hadoop应用的能力。而他们以前倚重的IBM,Oracle也没有这样的能力。


    正是看到了这一点,以Hadoop为核心的一些咨询公司相继成立。经过市场洗礼,目前呈现出ClouderaHortonworksMapR三足鼎立之势。三家的产品我都使用过,以后两家为主。下面就分别谈谈各家的优势和劣势。


    Cloudera成立于2008年,是三家中成立最早的,目前为止客户资源最多,技术储备时间最长,规模总量最大。背后有Intel做坚强后盾。其产品线以企业级的平台管理和监控著称,其Hadoop用户界面Hue也十分友好。当然,Cloudera的许可证价格不菲,都是按年按机器收钱,这一点和Oracle没什么区别,可能和CEO的Oracle前高管的背景有关。


    Hortonworks成立比较晚,是从Yahoo中剥离出去的,也算是嫡系正统。和其他两家最大的不同是,Hortonworks坚持百分百开源的理念,完全只靠咨询服务赚钱。我是开源的拥护者,也十分看好它未来的发展。个人认为Hortonworks的拳头产品是Hadoop自动部署工具Ambrari和资源管理器YARN。其中YARN的意义甚至超过了Hadoop本身,这一点会在以后的文章中讨论。另外,Hortonworks在12月份刚刚IPO,希望充裕的资金有助于加速它对开源项目的贡献。


    MapR和原生的Hadoop相距最远。它完全重写了文件系统和HBase实现,从而大幅提高了系统性能。它的读写性能都数倍于原生Hadoop。重新实现同时也简化了Hadoop的安全框架。但问题是和原生的HDFS和HBase不可能完全兼容,使得它在产品配套更新方面总是慢半拍。应用开发者也往往要付出额外的精力去考虑兼容Hadoop。当然,权衡投入产出比,这样的付出也许是值得的。最近MapR刚刚宣布其MapR Database可以免费使用,大概也是看到了自己的优秀产品在接受度上的尴尬。此外,MapR和Google走得很近,也等到了Google风投的资助,其产品通过脚本程序可以很方便地部署到Google计算引擎。很荣幸MapR接受了我对其脚本的小小补充。


    大数据市场是一块大蛋糕,三家公司应该会愉快地玩耍一段时间(除非被其他巨头吃掉)。至于长远来看,谁会是最大赢家,以及Hadoop还能火多久,取决于市场,资金和技术等诸多因素的影响。技术层面来看,我们也许可以从近两年的发展略窥端倪,请看下篇“Hadoop之技术未来”。

    相关文章

      网友评论

        本文标题:Hadoop 之 三足鼎立

        本文链接:https://www.haomeiwen.com/subject/htspxttx.html