Big Data
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。
解决问题的层面不一样
首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
两者可合可分
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。
以下是天地会珠海分舵从网上摘录的对MapReduce的最简洁明了的解析:
我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。
现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。
Spark数据处理速度秒杀MapReduce
Spark因为其处理数据的方式不一样，会比MapReduce快上很多。MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…“ Booz Allen Hamilton的数据科学家Kirk Borne如此解析。
反观Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，” Born说道。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。
如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce的处理方式也是完全可以接受的。
但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用Spark进行处理。
大部分机器学习算法都是需要多重数据处理的。此外，通常会用到Spark的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等。
灾难恢复
两者的灾难恢复方式迥异，但是都很不错。因为Hadoop将每次处理后的数据都写入到磁盘上，所以其天生就能很有弹性的对系统错误进行处理。
Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。“这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完成的灾难恢复功能，”Borne指出。
注：更多文章请关注公众号:techgogogo或个人博客http://techgogogo.com。当然，也非常欢迎您直接微信(zhubaitian1)勾搭。本文由天地会珠海分舵编译自InforWorld。转载请自觉。
Uber将正在蓬勃发展的Go和Node.js这两个语言很好的融合到其系统上面来。Uber的网站可靠性工程师Tom Croucher在最近于波兰举行的Node.js互动大会上详尽的对该公司所用的语言平台进行了阐述。
Uber的任务分派系统是运行在Node上，这是一个运行在服务器端的JavaScript平台。当一个客户打开app或者网站来进行车辆预定或者调用其他的API来查看可用车辆信息的时候，大部分的这些服务都是通过运行在Node上面的平台来提供的，Croucher说道。
“这里大部分的工作都是由Node来完成的，我们从公司成立的第一年就开始使用Node，非常的早，“ Croucher继续说道。同时他也强调说Uber是Node的第一批采用者之一，同时也是第一批“真正基于Node打造出一门大生意“的企业之一。
但Node.js并非Uber唯一使用的语言。谷歌的Go语言在Uber中也占有一席之地。“我们此前已经开始使用Go来完成一些任务，其中涉及的一部分是对性能有相当高的需求的。我们一开始是用打算Node来进行编写的，但为了让系统获得更优的性能，我们现在开始使用Go来对这些特殊的部分进行重写。“
同时，Uber当前使用的是比较老的Node 0.10版本，因为它需要看到“新版本能带来明显的效益”才会进行升级。“Node.js基金会经理Mikeal Rogers则要求用户们将Node.js升级到版本4.“
除了贴近潮流的Node.js和Go之外，Python也是Uber所青睐的语言之一。“我发现Python其实也是Uber所采用的几个技术之一就是，“Croucher继续说道。”对于我们来说，可以在不同的人才池中进行选择是非常有帮助的，所以我们的很多系统也是使用Python来编写的。我们发现有大量的Python开发者编写了大量的优秀的服务，特别是在一些商业领域以及其他一些特别的领域上面。“
注:如果您喜欢本文的话，欢迎关注天地会珠海分舵以及专题《人人都是创业者》 本文由天地会珠海分舵编译自InforWorld。转载请自觉。
网友评论