美文网首页
DFSClient通过HA方式操作HDFS

DFSClient通过HA方式操作HDFS

作者: mrknowledge | 来源:发表于2020-05-19 13:57 被阅读0次

只需在创建FileSystem的时候的Conf类中添加如下参数即可:

//设置hdfs配置信息

Configuration conf = new Configuration();

//设置配置相关的信息,分别对应hdfs-site.xml core-site.xml

conf.set("fs.defaultFS", "hdfs://dragoncluster");

conf.set("dfs.nameservices", "dragoncluster");

conf.set("dfs.ha.namenodes.dragoncluster", "nn1,nn2");

conf.set("dfs.namenode.rpc-address.dragoncluster.nn1", "n01.dragon.com:8020");

conf.set("dfs.namenode.rpc-address.dragoncluster.nn2", "n02.dragon.com:8020");

conf.set("dfs.client.failover.proxy.provider.dragoncluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

//设置实现类,因为会出现类覆盖的问题

conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());

conf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());

相关文章

  • DFSClient通过HA方式操作HDFS

    只需在创建FileSystem的时候的Conf类中添加如下参数即可: //设置hdfs配置信息Configurat...

  • hdfs文件写入分析

    HDFS写文件涉及到HDFS中NameNode、DataNode、DFSClient等组件 简单的HDFS写文件大...

  • Hadoop2.x HA架构与部署

    HDFS-HA、Zookepeer、YARN-HA配置 HDFS-HA namenode name...

  • Hadoop-HA

    HDFS-HA工作机制 通过双NameNode消除单点故障 两个NN,一个工作,一个备份 HDFS-HA自动故障转...

  • HDFS HA 原理

    HDFS HA 原理 标签:HDFS HA 概述 在 Hadoop 2.x 版本中,Hadoop 实现了 HDFS...

  • 大数据面试 | 02 HDFS难点---HDFS 联邦和HDFS

    目录 HDFS F HDFS HA 为了解决HDFS1.0 中单点故障问题和内存受问题。提出了HDFS HA 和H...

  • 13-Hadoop高级

    Hadoop的HDFS HA、Yarn HA集群部署 1.HDFS NN SNN(secondary) 热备 NN...

  • HDFS 配置本地客户端

    之前,一直通过Linux命令操作HDFS。接下来,在本地配置HDFS客户端,通过编写代码操作HDFS。 环境: m...

  • Hadoop Start(3) ——HDFS原理: HDFS H

    HDFS HA简介在完全分布式HDFS集群中,即使通过namenode备份还是无法做到及时的文件系统高可用,nam...

  • 通过API访问HDFS

    通过API操作HDFS 今天的主要内容 HDFS获取文件系统 HDFS文件上传 HDFS文件下载 HDFS目录创建...

网友评论

      本文标题:DFSClient通过HA方式操作HDFS

      本文链接:https://www.haomeiwen.com/subject/yxhbohtx.html