美文网首页
Hadoop&spark

Hadoop&spark

作者: 练练笔记本 | 来源:发表于2016-06-13 17:45 被阅读0次

    简介

    hadoop 和 spark是两种大数据框架。hadoop提供了分布式文件系统hdfs进行数据存储和管理,在这个基础上,提供了mapreduce的数据处理框架进行数据处理;spark是一种专门用来分析处理分布式存储的大数据的工具,不提供数据存储功能,它可以运行在hdfs上或者其它的分布式文件系统上。在数据处理的能力上,spark的数据处理速度比mapreduce快的多,前者是一种流式数据处理工具,具有实时/准实时的数据处理能力,后者通常用于批量的处理分布式存储的大数据。

    spark环境搭建资料http://blog.csdn.net/aaronhadoop/article/details/37757639

    hadoop环境搭建

    http://my.oschina.net/jackieyeah/blog/657750

    相关文章

      网友评论

          本文标题:Hadoop&spark

          本文链接:https://www.haomeiwen.com/subject/oumydttx.html