简介
hadoop 和 spark是两种大数据框架。hadoop提供了分布式文件系统hdfs进行数据存储和管理,在这个基础上,提供了mapreduce的数据处理框架进行数据处理;spark是一种专门用来分析处理分布式存储的大数据的工具,不提供数据存储功能,它可以运行在hdfs上或者其它的分布式文件系统上。在数据处理的能力上,spark的数据处理速度比mapreduce快的多,前者是一种流式数据处理工具,具有实时/准实时的数据处理能力,后者通常用于批量的处理分布式存储的大数据。
spark环境搭建资料http://blog.csdn.net/aaronhadoop/article/details/37757639
hadoop环境搭建
http://my.oschina.net/jackieyeah/blog/657750
网友评论