美文网首页
Hadoop&spark

Hadoop&spark

作者: 练练笔记本 | 来源:发表于2016-06-13 17:45 被阅读0次

简介

hadoop 和 spark是两种大数据框架。hadoop提供了分布式文件系统hdfs进行数据存储和管理,在这个基础上,提供了mapreduce的数据处理框架进行数据处理;spark是一种专门用来分析处理分布式存储的大数据的工具,不提供数据存储功能,它可以运行在hdfs上或者其它的分布式文件系统上。在数据处理的能力上,spark的数据处理速度比mapreduce快的多,前者是一种流式数据处理工具,具有实时/准实时的数据处理能力,后者通常用于批量的处理分布式存储的大数据。

spark环境搭建资料http://blog.csdn.net/aaronhadoop/article/details/37757639

hadoop环境搭建

http://my.oschina.net/jackieyeah/blog/657750

相关文章

  • Hadoop&spark

    简介 hadoop 和 spark是两种大数据框架。hadoop提供了分布式文件系统hdfs进行数据存储和管理,在...

  • Spark01 hadoop&spark环境安装

    hadoop 安装 基于mac os 创建hadoop账号 我用登录电脑的账号启动 这一步略 配置ssh 如果没有...

网友评论

      本文标题:Hadoop&spark

      本文链接:https://www.haomeiwen.com/subject/oumydttx.html