美文网首页
Hadoop 踩坑笔记 -no.3 HA集群框架 Unknown

Hadoop 踩坑笔记 -no.3 HA集群框架 Unknown

作者: 冰小蓝 | 来源:发表于2018-08-16 22:06 被阅读0次

    问题如标题,老规矩先复述一下HA框架的搭建步骤

        再网上淘到了一篇非常详细的博客

        https://www.cnblogs.com/qingyunzong/p/8634335.html

        鄙人便是按照以上步骤填坑的,这篇文章的步骤粗略的分为:

        1.hadoop的core-site.xml,hdfs-site.xml.....的文件配置

        2.zkServer的配置 

        3.启动journode,zkServer,format namenode

        4.启动hdfs以及yarn集群

        5.检验hdfs以及yarn

        前四步一切顺利,然后到了最后一步,向hdfs put的时候,报了unknownhost异常,找不到ns(我配置core-site.xml中的fs.defaultFS的字段为hdfs:\\ns\),哈?????为啥,怎么把我的命名空间当作域名来解析了,然后从网上各种百度解决方法,然而都是我已经想到的

        1.检查hosts文件是否配置正确

        2.检查hadoop的slave文件是否正常

        3.将hdfs-site.xml的本机host ip改为0.0.0.0

    反复检查这三项检查了俩小时,甚至还改了fs.defaultFs为其他字段,就这样尝试了n遍,直到三天后发现自己再hdfs-site.xml的失败尝试切换的代理ZKFC 的配置名写错了原本是dfs.client.failover.proxy.provider.ns,自己写成了dfs.client.failover.provider.ns,恍然大悟原来hadoop读取配置文件的时候没有读取到zkfc的配置以为只有单个namenode,而不是高可用的集群,所以把ns当作域名解析了。

    相关文章

      网友评论

          本文标题:Hadoop 踩坑笔记 -no.3 HA集群框架 Unknown

          本文链接:https://www.haomeiwen.com/subject/qchabftx.html