美文网首页
Docker(搭建伪分布式Hadoop集群)

Docker(搭建伪分布式Hadoop集群)

作者: 冰菓_ | 来源:发表于2022-07-31 10:49 被阅读0次
    1. 环境准备
    1. 一台服务器
    2. 安装git
    3. 安装Docker linux上安装Docker,指定yum源
     sudo systemctl status docker
    
    2. 拉取镜像
    1. 把当前用户加入到Docker组中
    2. 拉取镜像
    3. 创建hadoop网络
    4. start-container.sh中开放9000,9090端口
      docker network ls
    5. 起docker,hadoop,查看是否起启来了
      docker ps
      jps
    3. 8088,50070无法访问的解决方案

    一般的步骤:看一下防火墙的问题,如果是虚拟机看一下V8是不是关掉了,配置一下/hdfs-site.xmlcore-site.xml,改一下hosts映射关系....
    参考一下:
    无法访问问题解决汇总

    不知道是不是问题的关键,要设置一下内网

    ....我的问题不在这里,结果2小时的查问题,发现服务器要设置安全组....改一下,TCP通过端口,无语了.....

    4. 其他问题
    1. 问题:怎么关闭hadoop,几次修问题我都reboot
    2. 怎么升级hadoop版本,这个Hadoop都是2.7版本,要改一下镜像的
    3. 内网,公网,我看datanode的网也不太一样,这是一个问题.....
    5. 一些命令

    复习一些shell和docker命令

    1. 防火墙查看状态,关闭和开启 linux 防火墙
    2. docker ps / jps
    3. vi 操作
    4. netstat netstat命令

    相关文章

      网友评论

          本文标题:Docker(搭建伪分布式Hadoop集群)

          本文链接:https://www.haomeiwen.com/subject/rrdkwrtx.html