hadoop 分布式环境搭建

准备

• 在 vmware 虚拟机中安装 Linux 系统
• 安装 vmware-tool 工具，可以增强桌面显示效果，还可以和宿主机用共享文件夹的方式传递文件
  • 解压 vmware-tool.iso 文件，sudo ./vmware-install.pl 执行安装脚本即可
  • 启用共享文件夹

搭建分布式系统需要多台虚拟机

• 创建用户组和用户
• 第一台虚拟机在关机状态下创建一个完整克隆，就有了两台虚拟机（有两台以上真机更好，这里只能虚拟几台了）

修改主机名

• 修改 /etc/hostname ，添加 jason
• 修改 /etc/hosts ，添加 192.168.1.200 jason， 192.168.1.201 jason2 (可以把ip设置成固定的)
• 修改第二台 /etc/hosts ，添加 192.168.1.200 jason， 192.168.1.201 jason2 （检测互相 ping 通）

SSH 无密码验证

• sudo apt-get install openssh-server(如果是CentOS，就用sudo yum install openssh-server)，安装客户端
• ssh-keygen -t rsa -P，生成公钥和私钥
• 查看路径/home/jason/.ssh文件里是否有id_rsa和id_rsa.pub
• 将公钥赋给 authorized_keys：cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
• 无密码登录：ssh localhost
• 在 jason 上执行：ssh-copy-id jason2，查看 jason2的/home/jason/.ssh文件里是否有authorized_keys
• 在 jason2 上执行相同的操作

安装 JDK

• 先卸载自带的 openjdk
  • rpm -qa | grep jdk 找到系统自带的版本，
  • yum -y remove ***** 卸载之，
• 在 /usr/local/ 目录下创建文件夹 jdk ，把要安装的jdk解压到这个目录下
• 配置环境变量 vim /etc/profile ，添加下面的配置
  • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_171
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
    PS：可以把 bin 和 sbin 都配置在 PATH 中，方便以后使用；
  • 执行命令，使配置生效：source /etc/profile；
  • 执行命令：java -version，若出现java版本号，则说明安装成功

hadoop 集群安装

• 解压 hadoop-2.6.0.tar.gz 到 /home/jason/ 目录，把名字改成 hadoop，
• 配置环境变量 vim /etc/profile ，添加下面的配置
  • export HADOOP_HOME=/home/jason/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
• 修改 hadoop 配置文件，在hadoop/etc/hadoop目录下，有 7 个:
  • 1， 配置 hadoop-env.sh 文件-->修改 JAVA_HOME
    • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71
  • 2， 配置 yarn-env.sh 文件-->修改 JAVA_HOME
    • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71
  • 3，配置slaves文件-->>增加 slave 节点
    • 删除 localhost， 增加jason jason2
  • 4，配置 core-site.xml 文件-->>增加 hadoop 核心配置

<configuration>
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://jason:9000</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/jason/hadoop/tmp</value>
    <description>Abasefor other temporary directories.</description>
</property>
<property>
   <name>hadoop.native.lib</name>
   <value>true</value>
   <description>Should native hadoop libraries, if present, be used.</description>
</property> 
</configuration>

• 5，配置 hdfs-site.xml 文件-->>增加hdfs配置信息（namenode、datanode端口和目录位置）

<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>jason:9001</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/jason/hadoop/dfs/name</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value> file:/home/jason/hadoop/dfs/data</value>
</property>

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
</configuration>

• 6，配置 mapred-site.xml 文件-->>增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址）

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>jason:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value> jason:19888</value>
</property>
</configuration>

• 7，配置 yarn-site.xml 文件-->>增加yarn功能

<configuration>
 <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
 </property>
 <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
      <name>yarn.resourcemanager.address</name>
      <value>jason:8032</value>
 </property>
 <property>
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>jason:8030</value>
 </property>
 <property>
      <name>yarn.resourcemanager.resource-tracker.address</name>
      <value>jason:8035</value>
 </property>
  <property>
      <name>yarn.resourcemanager.admin.address</name>
      <value>jason:8033</value>
 </property>
 <property>
      <name>yarn.resourcemanager.webapp.address</name>
      <value>jason:8088</value>
 </property>

</configuration>

• 8，将配置好的 jason 中/hadoop/etc/hadoop文件夹复制到到 jason2 对应位置（删除 jason2 原来的文件夹/hadoop/etc/hadoop）
  在 jason 中执行拷贝命令： scp -r /home/jason/hadoop/etc/hadoop/ jason@jason2:/home/jason/hadoop/etc/

验证安装

• 格式化 namenode
  • 执行 ./bin/hdfs namenode -format 出现“successfully formatted”就表示成功了
• 启动 hdfs
  • 执行 ./sbin/start-dfs.sh
• 查看 java 进程
  • 执行 jps
• 停 止 hdfs
  • 执行 ./sbin/stop-dfs.sh
• 启动 yarn
  • 执行 ./sbin/start-yarn.sh
• 查看 java 进程
  • 执行 jps
• 停 止 yarn
  • 执行 ./sbin/stop-yarn.sh
• 查看集群状态
  • 启动：./sbin/start-dfs.sh
  • 查看：./bin/hdfs dfsadmin -report
• 查看hdfs： http://jason:50070/
• 查看yarn： http://jason:8088/

运行 wordcount 程序

wordcount 程序由 hadoop 提供，位于share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar内。

• 创建 file目录

• 在 file 中创建 file1.txt、file2.txt 并写内容：
  file1.txt输入内容：Hello world hi HADOOP
  file2.txt输入内容：Hello hadoop hi CHINA

• 在 hdfs 创建 /input2 目录： ./bin/hadoop fs -mkdir /input2

• 将file1.txt、file2.txt文件 copy 到 hdfs /input2 目录：./bin/hadoop fs -put file/file*.txt /input2

• 查看hdfs上是否有file1.txt、file2.txt文件：hadoop fs -ls /input2/

• 执行 wordcount 程序

  • 先启动 hdfs 和 yarn
  • 执行程序：./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input2/ /output2/wordcount1

• 查看运行结果：/bin/hdfs dfs -cat /output2/wordcount1/*