原文链接 FileStatus对象封装了文件系统中文件和目录的元数据,包括文件的长度、块大小、备份数、修改时间、所...[作者空间]
Hadoop InputFormat介绍 1 概述 我们在编写MapReduce程序的时候,在设置输入格式的时候,...[作者空间]
hadoop自定义排序对比器和分组对比器 概述 MR作业大致分为两个阶段,具体流程如下: map阶段读取输入文件内...[作者空间]
hadoop序列化和反序列化 1 什么是序列化和反序列化 序列化就是将内存中的对象或数据,转换成字节数组,以便于存...[作者空间]
ChainMapper/ChainReducer实现原理及案例分析 ChainMapper/ChainReduce...[作者空间]
多个MapReduce之间的嵌套 在很多实际工作中,单个MR不能满足逻辑需求,而是需要多个MR之间的相互嵌套。很多...[作者空间]
MapRedece中的分区Partitioner 分析 MapReduce中会将map输出的k-v对,按照相同的k...[作者空间]
MapReduce计算模型 一、MR执行流程 最简单过程:map --> reduce 定制了Partitione...[作者空间]
简述 hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。HA模式的集群里面会部署两台NN(最...[作者空间]