前言: 本篇写一个Hadoop自动安装脚本,以5台KVM虚拟机和docker为基础,来自动安装Hadoop集群(H...[作者空间]
可以通过ifconfig命令知道主机的IP地址: 使用 sudo gedit /etc/hosts 设置主机名和I...[作者空间]
一、HDFS介绍 HDFS(Hadoop Distributed File System)是Hadoop项目的核心...[作者空间]
学hadoop需要什么基础?Hadoop作为大数据工业中的主引擎,Hadoop就像是大数据世的一把钥匙,想要进入数...[作者空间]
目的:使用Ambari快速搭建Hadoop 平台 并能通过web页面对Hadoop实现有效管理 先说说遇到的哪些坑...[作者空间]
来源:Linux虚拟机在A机的虚拟机中是NAT方式DHCP动态获取IP,设置了静态地址,IP地址不会发生变化,但是...[作者空间]
1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的...[作者空间]
YARN产生背景 MRv1的局限 YARN是在MRv1基础上演化而来的,它克服了MRv1中的各种局限性。在正式介绍...[作者空间]
系统:ubuntu 16.04、Apache hadoop2.7.3教程适用于hadoop2.0以上的系统教程使用...[作者空间]
Reducer Reduce处理一系列相同key的中间记录。 用户可以通过 Job.setNumReduceTas...[作者空间]
目标 该文档作为一份个人指导全面性得描述了所有用户使用Hadoop Mapreduce框架时遇到的方方面面。 准备...[作者空间]
关于Eclipse的Hadoop环境的配置,可以参考这两篇博文:1、Windows7下面eclipse(4.5.2...[作者空间]
实验目的 理解HDFS在Hadoop体系结构中的角色。 熟练使用HDFS操作常用的Shell命令。 熟悉HDFS操...[作者空间]
系统环境 运行环境:Ubuntu 16.04 LTS x86_64 、Oracle JDK8、Hadoop-1.2...[作者空间]
Yarn介绍 MapReduce 早期的 JobTracker/TaskTracker 机制在可扩展性,内存消耗,...[作者空间]