美文网首页
Hadoop 学习笔记 1

Hadoop 学习笔记 1

作者: bananafish | 来源:发表于2019-04-04 21:20 被阅读0次

Hadoop 基本组成结构

  1. Hadoop HDFS 分布式文件系统
  2. Map Reduce 分布式离线并行计算框架
  3. Hadoop YARN 作业调度、集群资源管理的框架
  4. Hadoop Common 支持其他模块的工具模块(Configuration、RPC、序列化机制、日志)

Map Reduce

Map 将原始任务进行拆分
Reduce 将任务的结果进行合并
MapReduce将分布式的方法进行了封装,简化了分布式程序的开发过程

基本Map Reduce 程序结构

Map 阶段

Reduce 阶段

Driver 阶段

Hadoop 序列化

序列化的作用是将内存中的对象转换成字节序列便于存储

相关文章

  • Hadoop学习笔记1

    Hadoop部署方式 本地模式 伪分布模式(在一台机器中模拟,让所有进程在一台机器上运行) 集群模式 服务器只是一...

  • Hadoop学习笔记(1)

    title: Hadoop学习笔记(1)date: 2016-08-23 20:57:36categories: ...

  • Hadoop学习笔记(1)

    使用docker搭建分布式环境 今天开始,准备学习大数据分析,参考的教材是O‘REILLY的《Hadoop数据分析...

  • Hadoop 学习笔记 1

    Hadoop 基本组成结构 Hadoop HDFS 分布式文件系统 Map Reduce 分布式离线并行计算框架 ...

  • Hadoop相关文章索引(2)——Hadoop运维主题

    hadoop运维笔记1 Hadoop集群日常运维 Hadoop运维经验杂谈 Hadoop运维笔记 之 调整hdfs...

  • Hadoop学习笔记—Yarn

    Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数...

  • Hadoop入门

    慕课网《Hadoop大数据平台架构与实践--基础篇》学习笔记 1. 初识Hadoop 历史 Google三驾马车:...

  • hadoop学习笔记

    这篇为学习hadoop的笔记,书籍来自《Hadoop构建数据仓库实战》 hadoop简介   hadoop是一个由...

  • hadoop学习02

    hadoop学习笔记 - HDFS - 完全分布式模式 Hadoop完全分布式模式结构 hadoop01hadoo...

  • Hadoop入门—基本原理简介

    现在打算学习一些关于分布式,大数据,和hadoop的知识,创建一个笔记本,作为入门的笔记。 1. 安装hadoop...

网友评论

      本文标题:Hadoop 学习笔记 1

      本文链接:https://www.haomeiwen.com/subject/lujwbqtx.html