美文网首页
hadoop1.x全分布式环境安装

hadoop1.x全分布式环境安装

作者: 香港记者mo | 来源:发表于2019-06-13 14:03 被阅读0次

    1.前置准备,在四个节点关闭防火墙及selinux,分别安装java环境,并配置好环境变量,将namenode节点的公钥分发至其他节点(在namenode的~/.ssh下,scp id_dsa.pub node02:`pwd`/node01.pub),然后在其他节点将公钥写入信任列表(在~/.ssh下,cat node01.pub>>authorized_keys),这样就可以让主节点随意登录至其余节点了。

    2.在主节点下载hadoop,解压,修改配置,首先etc/hadoop下的*-env.sh中的JAVA_HOME要配置上,在hdfs-site.xml文件中,修改块副本数以及secondary的节点名称,然后修改core-site.xml,fs.defaultFSw 为 namenode节点,hadoop.tmp.dir为namenode和datanode的存放目录; 例子:hdfs-site.xml: 

    core-site.xml:

    。最后修改slaves文件中内容为几个从节点hostname:

    node02

    node03

    ...

    3.在主节点格式化 执行 hdfs namenode -format,没问题后启动:start-dfs.sh,然后可以测试了。关闭:stop-dfs.sh(在namenode节点)

    相关文章

      网友评论

          本文标题:hadoop1.x全分布式环境安装

          本文链接:https://www.haomeiwen.com/subject/cptsfctx.html