美文网首页
有道云笔记bug整理hadoop集群启动但不能访问50070

有道云笔记bug整理hadoop集群启动但不能访问50070

作者: 纯野生程序员 | 来源:发表于2020-04-09 14:39 被阅读0次

这是前年搭建集群遇到的问题,特此在简书输出,以便于自己这种错误要长记住
搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问不了。

就是防火墙没有关闭。
防火墙命令要注意分centos版本

伪集群搭建采用的是CentOS 7.0,而CentOS7.0默认使用的是firewall作为防火墙,可以改为iptables。

Firewall:

systemctl start firewalld.service#启动firewall

systemctl stop firewalld.service#停止firewall

systemctl disable firewalld.service#禁止firewall开机启动

改成iptables:
systemctl startiptables.service

若操作系统使用的CentOS6.5的话,也需要关闭iptables防火墙

service iptables stop关闭完成,但重启机器就会启动,所以需要用下面命令永久关闭它。

chkconfig iptables off开机就不会启动了。

#############################################

Hadoop启动之后,遇到一个奇怪的问题:

VMware虚拟机中Hadoop服务的端口50070无法访问的问题---通过127.0.0.1:50070、localhost:50070、主机名:50070均可访问,唯独IP:50070不能访问到。

通过查找日志:发现datanode的日志中提示:访问MasterNameNode:8020不能访问。

排查步骤:

1.首先,各个虚拟机和客户端之间都能ping通,虚拟机都能上外网,说明网络没有问题。

2.各个虚拟机自己的防火墙已经关闭。

3.是不是端口有问题呢?通过命令#netstat -tnpl

发现监听都配置在:127.0.0.1,结合可以通过127.0.0.1:50070能够访问考虑,是不是把这个地址改成真实的IP就可以了?

因为所有hadoop内部配置的都是hostname,所以有两种方法:

1.将hadoop中所有的hostname改成IP的方式。

2.修改Linux的设置,将hostname映射地址改为真实的IP。

研究第二种方式,排查发现:hostname -i命令显示的IP为:127.0.0.1 真实IP

所以,在Master中,实验将/etc/hosts中的127.0.0.1一行注释掉,运行发现部分端口已经改正,还有部分端口没有改正过来。

将各个数据节点中/etc/hosts中的127.0.0.1行去掉,重新启动hadoop发现:

通过http://真实IP:50070已经可以进行访问,问题解决。

相关文章

  • 有道云笔记bug整理hadoop集群启动但不能访问50070

    这是前年搭建集群遇到的问题,特此在简书输出,以便于自己这种错误要长记住搭建Hadoop伪集群时 ,HDFS文件系统...

  • 完全分布式之hive安装

    上次hadoop部署完毕并成功启动之后,发现通过ip地址及50070端口不能成功访问: 解决方式: 云服务器:在控...

  • Hadoop spark常用命令

    查看Hadoop集群运行情况 网址 http://localhost:50070/查看spark集群运营情况网...

  • Hadoop 入门(二)

    目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 启动关闭集群 单节点启动&停止 ...

  • Hadoop 入门(一)

    目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 Hadoop 安装 软件准备 运...

  • Hadoop 入门(三)

    目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 访问HDSF 浏览器访问 给你一...

  • Hadoop 常见问题

    1.部署好Hadoop , window上通过 50070端口访问 ,但是不能上传文件 解决方法:将 nameno...

  • HDFS集群启动的常见问题

    hdfs集群启动的常见问题 1、用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里: a、...

  • hadoop入门(二)

    java访问hdfs 一.启动集群,验证集群是否启动 二.修改hadoop数据存放目录1.所有机器都要修改 2,格...

  • Hadoop 入门(四)

    目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 常用配置 core-site.x...

网友评论

      本文标题:有道云笔记bug整理hadoop集群启动但不能访问50070

      本文链接:https://www.haomeiwen.com/subject/ujdcmhtx.html