hadoop完全分布式处理

作者: 程序员1 | 来源:发表于2018-07-03 13:24 被阅读1次

    使用root登录,

    添加组groupadd hdgroup

    添加用户useradd -g hdgroup hduser

    设置密码 passwd hduser

    chmod 777 /etc/sudoers

    gedit /etc/sudoers

    在 root     ALL=(ALL) ALL后加一行

      hduser ALL=(ALL) ALL

    chmod 440 /etc/sudoers

    关闭当次登录防火墙 service iptables stop

    关闭重启后防火墙  chkconfig iptables off

    重启该虚拟机系统 使用hduser登录

    安装jdk

    sudo rpm -ivh jdk-7u67-linux-x64.rpm

    一般在/usr/java/jdk1.7.0_67这个路径下

    修改配置文件 sudo gedit /etc/profile

    加入找到 后保存

    export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

    export JAVA_HOME=/usr/java/jdk1.7.0_67

    export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

    export PATH=$JAVA_HOME/bin:$PATH

    #hadoop

    export HADOOP_HOME=/home/hduser/hadoop   

    export PATH=$HADOOP_HOME/bin:$PATH

    source /etc/profile 生效

    测试 java -version

      14  cd ~

      15  tar -zxvf hadoop-2.6.0.tar.gz

      16  mv hadoop-2.6.0 hadoop

      17  sudo gedit /etc/profile

      18  source /etc/profile

    另外再克隆两台节点node

    更改主机名:

    sudo gedit /etc/sysconfig/network

    分别更改

    NETWORKING=yes

    HOSTNAME=node1

    在root登录模式下,如果不是使用su - root 切换到root模式

    关闭当次登录防火墙 service iptables stop

    关闭重启后防火墙  chkconfig iptables off

    重启三台节点

    主机名解析

    打开配置文件 sudo gedit /etc/hosts

    例如

    192.168.37.131 node1

    192.168.37.132 node2

    192.168.37.133 node3

    免密码登录其他电脑   

    在node1服务器主机中生成公/私钥对   

    ssh-keygen -t rsa -P ""

    将node1服务器主机中的钥匙发给其他slave从机

    ssh-copy-id  localhost

    ssh-copy-id  node1                                                         

    ssh-copy-id  node2

    ssh-copy-id  node3

    注意ssh远程登录到那个主机,环境和权限是那个主机的环境并非本机的环境,也并非本机的权限,可以使用exit退出。并关闭当前的命令窗口重新开启一个命令窗口

    拷贝配置文件

      19 

    scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node2:/home/hduser/hadoop/etc/

      20 

    scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node3:/home/hduser/hadoop/etc/

      21  cd ~/hadoop    换位置

      28  bin/hdfs namenode -format  格式化一下

      32  cd ~/hadoop

      33  sbin/start-dfs.sh

      34  jps

    http://node1:50070/

      35  sbin/start-yarn.sh

      36  jps

      37  bin/hdfs dfsadmin -report

    http://node1:8088/cluster/nodes

      43  history

    相关文章

      网友评论

        本文标题:hadoop完全分布式处理

        本文链接:https://www.haomeiwen.com/subject/criduftx.html