美文网首页
Hadoop没有启动datanodes

Hadoop没有启动datanodes

作者: vickeex | 来源:发表于2020-02-26 10:17 被阅读0次

    采用Hadoop自带的基准测试工具写入文件时,出现问题:

    There are 0 datanode(s) running and 0 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:2205)
        at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:294)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2731)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:892)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:568)
        .......
    

    采用$jps命令查看,datanodes节点中只启动了“nodemanager",并无“datanodes”进程。
    搜索后大多博客说是“多次格式化namenode导致的namenode与datanode之间的不一致”。

    于是删除之前的dfs.datanode.data.dir目录(我没有数据就哦),并重新修改了各节点/hadoop-3.1.3/etc/hadoop/hdfs-site.xml的相关数据路径:

    <configuration>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>your-node-host:9001</value>
            </property>
            <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/home/user/bigData/hdfs/name</value>
            </property>
            <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:/home/user/bigData/hdfs/data</value>
            </property>
            ......
    

    重新格式化hadoop namenode -format
    然后再启动集群,还真解决了吖~

    相关文章

      网友评论

          本文标题:Hadoop没有启动datanodes

          本文链接:https://www.haomeiwen.com/subject/ohzpchtx.html