美文网首页
Hadoop没有启动datanodes

Hadoop没有启动datanodes

作者: vickeex | 来源:发表于2020-02-26 10:17 被阅读0次

采用Hadoop自带的基准测试工具写入文件时,出现问题:

There are 0 datanode(s) running and 0 node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:2205)
    at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:294)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2731)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:892)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:568)
    .......

采用$jps命令查看,datanodes节点中只启动了“nodemanager",并无“datanodes”进程。
搜索后大多博客说是“多次格式化namenode导致的namenode与datanode之间的不一致”。

于是删除之前的dfs.datanode.data.dir目录(我没有数据就哦),并重新修改了各节点/hadoop-3.1.3/etc/hadoop/hdfs-site.xml的相关数据路径:

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>your-node-host:9001</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/user/bigData/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/user/bigData/hdfs/data</value>
        </property>
        ......

重新格式化hadoop namenode -format
然后再启动集群,还真解决了吖~

相关文章

  • Hadoop没有启动datanodes

    采用Hadoop自带的基准测试工具写入文件时,出现问题: 采用$jps命令查看,datanodes节点中只启动了“...

  • hive配置

    1.启动hadoop相关进程:启动hadoop类型:sbin/hadoop-daemon.sh start nam...

  • Hadoop实战之wordcount

    基于linux系统使用hadoop 本文使用hadoop对文本进行单词计数,并输出到本地 启动hadoop 启动s...

  • hadoop实验

    1 wordcount 启动hadoop 进入hadoop安装目录 cd /usr/local/hadoop输入命...

  • 启动hadoop,jps没有datanode

    启动./start-dfs.sh后jps发现没有datanode进程。 查看日志 关键字 2018-02-27 1...

  • Spark02 yarn运行

    需要启动 hadoop 可以查看start-all.sh 脚本 启动hadoop yarn 和 hdfs 提交y...

  • hadoop调度docker启动用户设置

    1,启动 hadoop调度docker时,docker容器的启动通过hadoop执行指定的shell命令完成,通常...

  • Hadoop常用命令

    启动Hadoop所有进程:start-all.sh 关闭Hadoop所有进程:stop-all.sh 单进程启动:...

  • 启动hadoop 2018-09-30

    启动hadoop1、 格式化HDFS分布式文件系统 hadoop namenode –format 启动Hadoo...

  • Hadoop 入门(一)

    目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 Hadoop 安装 软件准备 运...

网友评论

      本文标题:Hadoop没有启动datanodes

      本文链接:https://www.haomeiwen.com/subject/ohzpchtx.html