美文网首页
HDFS环境搭建

HDFS环境搭建

作者: sujiayizu | 来源:发表于2018-12-06 10:28 被阅读0次

    1. 前提条件

    • java
    • ssh
      ubuntu安装ssh
    sudo apt-get install ssh
    sudo apt-get install rsync
    #开启hadoop的时候不用输密码
    ssh-keygen -t rsa
    cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    

    2. 配置java环境

     #位置:/etc/hadoop/hadoop-env.sh
      export JAVA_HOME=/usr/java/latest
    

    3.配置core-site.xml

    #位置:/etc/hadoop/core-site.xml
    <configuration>
     <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    #避免linux重启数据丢失
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/ubuntu/app/tmp</value>
        </property>
    </configuration>
    

    4. 配置hdfs-site.xml

    #设置副本系数为1,默认为3
    <configuration>
      <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
    

    5.启动hdfs

    (1)格式化文件系统(仅第一次执行)
    $ bin/hdfs namenode -format
    (2)启动
    $ sbin/start-dfs.sh
    (3)验证
    http://qiniu.backurl.cn/18-12-6/33132610.jpg
    http://ip:50070
    (4)停止
    $ sbin/stop-dfs.sh

    相关文章

      网友评论

          本文标题:HDFS环境搭建

          本文链接:https://www.haomeiwen.com/subject/ltrncqtx.html