美文网首页
HDFS配置

HDFS配置

作者: GoofyWang | 来源:发表于2018-10-22 14:43 被阅读0次
    属性名 含义 默认配置
    dfs.nameservices 为namenode集群定义一个services name ns1
    dfs.ha.namenodes.ns1 nameservice 包含哪些namenode,为各个namenode起名 nn1,nn2
    dfs.namenode.rpc-address.ns1.nn1 名为nn1的namenode 的rpc地址和端口号,rpc用来和datanode通讯 master:8020
    dfs.namenode.rpc-address.ns1.nn2 名为nn2的namenode 的rpc地址和端口号,rpc用来和datanode通讯 slave1:8020
    dfs.namenode.http-address.ns1.nn1 名为nn1的namenode 的http地址和端口号,web客户端 master:50070
    dfs.namenode.http-address.ns1.nn2 名为nn2的namenode 的http地址和端口号,web客户端 slave1:50070
    dfs.namenode.shared.edits.dir namenode间用于共享编辑日志的journal节点列表 qjournal://master:8485;slave1:8485;slave2:8485/ns1
    dfs.journalnode.edits.dir journalnode 上用于存放edits日志的目录 /home/hadoop/xinjian/hadoop-2.9.0/tmp/data/dfs/jn
    dfs.client.failover.proxy.provider.ns1 客户端连接可用状态的NameNode所用的代理类 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    dfs.ha.fencing.methods HDFS的HA功能的防脑裂方法。可以是内建的方法(例如shell和sshfence)或者用户定义的方法。 建议使用sshfence(hadoop:9922),括号内的是用户名和端口,注意,这需要NN的2台机器之间能够免密码登陆 fences是防止脑裂的方法,保证NN中仅一个是Active的,如果2者都是Active的,新的会把旧的强制Kill。 sshfence
    dfs.ha.fencing.ssh.private-key-files 密钥认证文件 /home/hadoop/.ssh/id_rsa
    dfs.ha.automatic-failover.enabled 是否开启自动故障转移。建议开启 true
    dfs.replication 配置系统自动数据备份数量 3
    dfs.webhdfs.enabled 是否开启WEBHDFS true
    dfs.journalnode.http-address JournalNode的HTTP地址和端口。端口设置为0表示随机选择。 0.0.0.0:8480
    dfs.journalnode.rpc-address JournalNode RPC服务地址和端口 0.0.0.0:8485
    ha.zookeeper.quorum ha使用的zk地址和端口信息 master:2181,slave1:2181,slave2:2181
    dfs.permissions.enabled 是否在HDFS中开启权限检查。 true
    dfs.namenode.acls.enabled 是否在hdfs开启acl,默认为false true

    相关文章

      网友评论

          本文标题:HDFS配置

          本文链接:https://www.haomeiwen.com/subject/cnlgzftx.html