Hadoop 2.7.2 伪分布式安装笔记

环境

• Ubuntu Kylin 14.04
• Hadoop 2.7.2 下载地址
• 安装目录 /home/hadoop/hadoop-2.7.2/
• hadoop 用户创建之后一直使用 hadoop 用户操作

添加 hadoop 用户

• 创建 hadoop 用户并使用bash作为shell
  sudo useradd -m hadoop -s /bin/bash
• 设置 hadoop 用户密码
  sudo passwd hadoop
• 为 hadoop 用户增加管理员权限
  sudo adduser hadoop sudo

配置环境

• 安装 ssh 服务器
  sudo apt-get install openssh-server
• 安装完成后，使用下面命令登录本机
  ssh localhost
  按提示输入密码，得到上图提示则登录成功，之后使用exit退出登录。
• 设置无密码登录
  1. cd ~/.ssh/ 若目录不存在，则再次执行 ssh localhost
  2. ssh-keygen -t rsa 不用管提示，一直按回车
  3. cat ./id_rsa.pub >> ./authorized_keys 加入授权
  4. ssh localhost 测试无密码登录
     如上图所示，没有提示输入密码，则设置成功。

安装 Java 环境

• 安装 OpenJDK 7
  sudo apt-get install openjdk-7-jre openjdk-7-jdk -y
• 查找安装路径
  dpkg -L openjdk-7-jdk | grep '/bin/javac' 会匹配出一个结果，去掉/bin/javac 即可
• 设置 JAVA_HOME
  vim ~/.bashrc 在文件最前面添加如下一行代码
  export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
• 使环境变量生效
  source ~/.bashrc 测试环境变量
  如上图所示，设置成功。

安装 Hadoop

• 下载
  cd ~/ wget http://mirrors.cnnic.cn/apache/hadoop/common/stable2/hadoop-2.7.2.tar.gz
• 解压
  tar -zxf hadoop-2.7.2.tar.gz 带 v 则会打印详细信息到终端
• 修改文件夹属性
  sudo chown hadoop:hadoop -R /home/hadoop
• 检查是否安装成功

cd /home/hadoop/hadoop-2.7.2
./bin/hadoop version

如上图所示，安装成功。

配置伪分布式

• core-site.xml

  
  

• hdfs-site.xml

  
  

• mapred-site.xml

  
  

• yarn-site.xml

  
  

• 设置 HADOOP_HOME
  vim ~/.bashrc 在 JAVA_HOME 下添加如下两行

export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

• 格式化 NameNode
  ./bin/hdfs namenode -format 在HADOOP_HOME目录下执行
  

  

• 开启 NameNode 和 DataNode 守护进程
  ./sbin/start-dfs.sh
  

  使用 jps 查看进程情况，如上图所示。
  启动成功后，可以登录 http://localhost:50070 查看信息，如图
  

• 启动 YARN
  ./sbin/start-yarn.sh 启动YARN
  

  ./sbin/mr-jobhistory-daemon.sh start historyserver 启动历史服务器，才能在WEB中查看任务运行情况。
  如上图所示，则启动成功。

总结

• 安装打时候百度了很多
• 安装过程很顺利，没有碰到什么错误
• 推荐一篇后来找到的好文章，点击这里跳转