美文网首页
RangerHDFS 部署流程

RangerHDFS 部署流程

作者: xudong1991 | 来源:发表于2021-09-06 10:22 被阅读0次

    依赖

    依赖项 作用 备注
    MySQL RangerAdmin 用来存储规则等数据 需要在 RangerAdmin 上部署,RangerAdmin 可以选择 MySQL、PgSql 和 Oracle
    Solr RangerAdmin 用来做审计日志存储和搜索 solr 在现网环境中需要做成集群,它又依赖 zookeeper,在测试环境中,这一项非必须

    MySql

    安装

    1. Ubuntu:
      apt-get install mysql-server

    2. CentOS 7 使用 yum 安装 MarriaDB 代替 MySQL:
      https://jaminzhang.github.io/mysql/yum-install-MariaDB-in-CentOS7/

    3. 注意配置 MySQL 监听在 localhost 就可以了。

    配置

    1. 在 MySQL 中创建一个名为 ranger 的 database(假设 root 密码为 passwd):
      mysql -uroot -ppasswd -e'create database ranger'

    2. 将 mysql-connector-java.jar 放到 /usr/share/java 下面,创建好软链接(如果需要的话)。

    Ranger Admin

    Ranger Admin 是 Ranger 的 server 端,用户通过它配置 ranger policy,Ranger Admin 使用 MySQL 或其他 sql 存储 policy 等数据,并使用 solr 存储和搜索审计日志。

    配置

    1. 在 ranger-1.1.0-admin/install.properties 配置好使用 MySQL 的 user、passwd 和 database、Ranger Amdin 的监听端口等等,样例:
    db_root_user=root
    db_root_password=123456
    db_host=localhost:3306
    db_name=ranger
    db_user=root
    db_password=123456
    policymgr_external_url=http://ubuntu2:6080
    
    1. 从 Ranger 0.6 之后,Ranger Admin 的 Audit 日志就只支持 solr 存储了,solr 有自己的搭建方法,此处不再赘述,这里只需要给一个假的 solr 地址即可,不影响我们核心的功能测试,例如:
    audit_solr_urls=http://192.168.0.103:8983/solr/ranger_audits
    

    启动

    在 Ranger Admin 目录下,依次执行下面这两条命令即可

    ./setup.sh
    ranger-admin start
    

    访问

    通过浏览器访问即可,默认用户名/密码为 admin/admin

    Ranger UserSync

    Ranger UserSync 负责把本机上的用户信息同步到 Ranger Admin,在需要同步用户信息的机器上,需要安装 Ranger UserSync.

    配置

    在 ranger-1.1.0-usersync/install.properties 中,配置好 Ranger Admin 的地址和 hadoop 的配置文件路径,例如

    POLICY_MGR_URL = http://ubuntu2:6080
    hadoop_conf=/home/mushu/hadoop-2.7.2/etc/hadoop/
    

    启动

    在 Ranger UserSync 目录下,依次执行下面两条命令即可:

    ./setup.sh
    ranger-usersync start
    

    Ranger HDFS Plugin

    Ranger HDFS Plugin 是 Ranger 为 HDFS 提供的插件

    配置

    在 ranger-1.1.0-hdfs-plugin/install.properties 中,配置好 Ranger Admin 地址、本集群对应的 Ranger service 名字、本地 hadoop 安装路径等:

    POLICY_MGR_URL=http://ubuntu2:6080
    REPOSITORY_NAME=hdfs
    COMPONENT_INSTALL_DIR_NAME=/home/mushu/hadoop-2.7.2
    

    启动

    在 Ranger HDFS Plugin 目录下,执行以下命令:
    ./enable-hdfs-plugin.sh

    完成后需要重启 NameNode

    相关文章

      网友评论

          本文标题:RangerHDFS 部署流程

          本文链接:https://www.haomeiwen.com/subject/lxjewltx.html