美文网首页我爱编程
Hadoop 环境搭建之准备工作及单机模式

Hadoop 环境搭建之准备工作及单机模式

作者: C_Hans | 来源:发表于2017-08-09 05:30 被阅读0次

    目标

    快速安装搭建单机版 Hadoop ,在 HDFS 上运行简单示例程序.

    准备

    VirtualBox 虚拟机下安装 Ubuntu 系统, 创建 hadoop 用户并授予 sudo 权限, 在Ubuntu 系统内搭建 Java 和 Hadoop 环境, 主要是下载或拷贝文件到 虚拟机内后解压配置环境变量.

    配置 Java 和 Hadoop 开发环境

    • 在线安装 Oracle JDK
    sudo add-apt-repository ppa:webupd8team/java
    sudo apt-get update
    sudo apt-get install oracle-java8-installer
    
    • sudo vim /etc/profile.d/jdk.sh 后输入以下配置后 source /etc/profile.d/jdk.sh 手动生效, 以下类似.
    export JAVA_HOME="path/to/JDK"
    
    export PATH=$JAVA_HOME/bin:$PATH
    
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$PATH
    

    hadoop 在线下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

    • sudo vim /etc/profile.d/hadoop.sh 后输入以下配置信息
    export HADOOP_HOME="path/to/hadoop/"
    
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    
    export CLASSPATH=.:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH
    
    • 进入 Hadoop 文件夹根目录下 的 etc/hadoop/
      分别对 hadoop-env.sh, mapred-env.sh, yarn-env.sh 3个文件进行设置 JAVA_HOME 变量.

    配置 SSH 免密登录

    • 实现各主机免密登录 localhost
    $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
    $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    $ chmod 0600 ~/.ssh/authorized_keys
    
    • 实现各虚拟机互相免密登录
    # 拷贝公钥到本地主机
    $ scp  ~/.ssh/id_rsa.pub  hadoop@master:/home/liu/.ssh/id_rsa_slave1.pub
    $ cat id_rsa_slave1.pub >> authorized_keys
    # 或者更加方便的使用 分发密钥命令
    $ ssh-copy-id tar_host
    

    测试

    • 环境测试
      java -version
      hadoop
    • 单机模式测试(以下操作默认在Hadoop目录下执行)
    $ mkdir input 
    $ cp conf/*.xml input 
    执行一个匹配指定字符串模式的MR作业: 对 input 目录下的文档进行单词数的统计
    $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
    查看统计结果
    $ cat output/*
    
    • 其他例子
    $ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 100 100
    
    $ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 500 500
    

    参考

    https://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
    http://www.jianshu.com/p/c0f4d30a50b9
    https://my.oschina.net/jackieyeah/blog/657032

    相关文章

      网友评论

        本文标题:Hadoop 环境搭建之准备工作及单机模式

        本文链接:https://www.haomeiwen.com/subject/eaffrxtx.html