美文网首页elasticsearch
[ElasticSearch填坑]创建hdfs reposito

[ElasticSearch填坑]创建hdfs reposito

作者: king_wang | 来源:发表于2017-06-17 20:19 被阅读207次

ElasticSearch作为数据库类软件,提供了宜用的备份还原功能。不过想使用备份功能,必须事先创建repository用于保存snapshot文件。本文记录了在创建hdfs类型的repository时遇到的坑。

HDFS Permission Denied

在创建repository失败,返回错误详情里包含下面内容:

Permission denied: user=esuser, access=WRITE, inode="/user/esuser/repository":hdfs:supergroup:drwxr-xr-x

意思是esuser用户对hdfs的/user/es/repository目录无写权限。各种google,找到原因:我们的hadoop集群未开启用户验证(因为在内网环境中安全上已经相对有保证),在创建repository时就未使用security.principal。在这种情况下,ElasticSearch会使用启动实例的用户esuser来在hdfs创建repository指定的目录,染鹅该用户并没有这个权限。

那么问题来了,怎么解决?2个方案:

  • 方案1: 开启hadoop服务器的Kerberos (KRB5)认证,生成krb5.keytab文件并拷贝到ElasticSearch服务器上。具体步骤自行google。最后创建repository使用security.principal`参数。

  • 方案2: 既然知道是用户权限的原因,那么采用最直接的方法,给该用户开启对于指定目录的读写权限

hdfs dfs –mkdir -p /user/esuser
hdfs dos –chown -R esuser:supergroup /user/esuser

相关文章

  • [ElasticSearch填坑]创建hdfs reposito

    ElasticSearch作为数据库类软件,提供了宜用的备份还原功能。不过想使用备份功能,必须事先创建reposi...

  • [ElasticSearch填坑]创建Snapshot: Sec

    终于成功创建hdfs repository,在创建snapshot,遇到了问题: elasticsearch日志:...

  • elasticsearch-jdbc填坑记

    引言 最近公司准备使用elasticsearch(es),将数据库的记录同步到es中,往外提供查询的功能,而同步工...

  • Git命令大全(Github)

    CREAT(创建) git init在当前目录下创建一个本(Create a new local reposito...

  • [Linux] 创建Shell脚本

    在Linux的命令行(终端或SSH)下创建Shell脚本,也是有坑所在的,需填需填比如我创建一个简单的编译命令,在...

  • Elasticsearch 6.3.2 版本踩填坑指南

    前言   前端时间利用ES开发一个"附近地理位置+其它信息"查询搜索的功能(据了解,Redis和PostgreSQ...

  • STS 创建 Maven 项目填坑

    用 STS 创建 Maven 项目并不复杂,只是其中有一些坑在里面,我在解决这些坑的时候发现很多人都遇到了相同的问...

  • 再挖个坑,明天填,push的

    再挖个坑,明天填,push的 再挖个坑,明天填,push的 再挖个坑,明天填,push的 再挖个坑,明天填,pus...

  • 通过API访问HDFS

    通过API操作HDFS 今天的主要内容 HDFS获取文件系统 HDFS文件上传 HDFS文件下载 HDFS目录创建...

  • Wendy Shijia 的「 Escher's Gallery

    开始填坑。太多坑没填以致可以从容选择先填哪个,然而也忘了坑长什么样、怎么填。不过还是希望该填的坑能尽量于月底前填完...

网友评论

    本文标题:[ElasticSearch填坑]创建hdfs reposito

    本文链接:https://www.haomeiwen.com/subject/hbjbqxtx.html