美文网首页
Hadoop安全模式

Hadoop安全模式

作者: 0过把火0 | 来源:发表于2017-10-22 22:43 被阅读20次

自动进入安全模式的原因可能有:
1) 集群进行节点的剔除(此时有些数据副本的block被发现丢失,因此会进入安全模式直到找到或恢复完全的副本为止。) 这种情况要恢复完全部的副本可能会用时很久,如果之前数据不需要,可以直接进行删除,或是直接手动退出安全模式:hadoop dfsadmin -safemode leave。或是在hdfs-site.xml中设置如下参数:

<property>
      <name>dfs.namenode.safemode.threshold-pct</name>
      <value>0</value>
    </property>

上述参数的含义是hdfs获取到整个文件系统block的百分之多少才可以退出安全模式,设为0则代表永远不会进入安全模式。如果不使用上述方法,则需要等待一段时间让block进行恢复。
2) 集群数据节点个数过少(此时在hdfs-site.xml中若设置replication=3,则可能无法进行多副本的存储导致进入安全模式,该情况下可以重新设置副本数<=2来解决)
3) 还有一种情况就是磁盘空间不足,也就是说HDFS预警。此时可以删除一些historyserver的日志或是一些没有用的数据来缓解。

我的博客 : https://NingSM.github.io

转载请注明原址,谢谢

相关文章

  • Hadoop安全模式

    自动进入安全模式的原因可能有:1) 集群进行节点的剔除(此时有些数据副本的block被发现丢失,因此会进入安全模...

  • HDFS的安全模式

    安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。如果HDFS处于安全模式,则表示HDFS是只...

  • Hadoop开启Kerberos安全模式

    Hadoop开启Kerberos安全模式,基于已经安装好的Hadoop的2.7.1环境,在此基础上开启Kerber...

  • 异常Kafka'修复'记

    近期由于测试Flink安全模式,找到一个安全的hadoop&kafka集群,测试过程中发现kafka集群各种异常(...

  • 51cto赵强HADOOP学习(一)

    安装linux和jdk.上传jdk和hadoop 安装hadoop(上传hadoop) 本地模式 伪分布模式 全分...

  • hadoop学习02

    hadoop学习笔记 - HDFS - 完全分布式模式 Hadoop完全分布式模式结构 hadoop01hadoo...

  • 启动 hive 报错:org.apache.hadoop.ipc

    有时候我们启动 hive shell的时候可能会遇到类似如下报错: 一、Hadoop NameNode 的安全模式...

  • hadoop解除safemode-安全模式

    火山日常啰嗦今天想删除hdfs上的某个目录时,总是报错,苦恼了很久才解决。 烦恼是一定会有的,但不能一直烦恼下去,...

  • hadoop-hdfs safemode安全模式

    当hdfs启动的时候,会从fsimage当中加载文件系统状态信息,然后会等到datanode报告块的存储情况,防止...

  • Hadoop 入门(五)

    目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 常用命令 退出安全模式 ente...

网友评论

      本文标题:Hadoop安全模式

      本文链接:https://www.haomeiwen.com/subject/ydonuxtx.html