快速搭建 LDAP 服务器与Hive集成

作者: 冯雪超 | 来源:发表于2020-12-21 22:39 被阅读0次

快速搭建 LDAP 服务器与Hive集成
网络对抗原理实验二
hive集成ldap
华为CE交换机radius认证登陆
ActiveMq深入简出（二）---- ActiveMq与Spr
尚硅谷大数据技术之HBase
How to Install OpenLDAP and Free
安全设备汇总
XDH_LESSON6
21 sparkSQL

快速搭建 LDAP 服务器与Hive集成

1 前言

LDAP (Lightweight Directory Access Protocol) 是轻型目录访问协议，以目录形式存储信息（基于目录的数据库），具有良好的读性能。

本文的目的是帮助你快速搭建 LDAP 服务器。

本文所使用的服务器是 centos7

2 关闭防火墙

首先使用systemctl status firewalld确认防火墙是否打开，如过打开，则关闭：

systemctl stop firewalld
systemctl disable firewalld

3 安装 OpenLDAP 组件

yum install -y openldap openldap-servers openldap-clients openldap-devel compat-openldap migrationtools

4 修改LDAP配置

这里就是重点中的重点了，从openldap2.4.23版本开始，所有配置都保存在/etc/openldap/slapd.d目录下的cn=config文件夹内，不再使用slapd.conf作为配置文件。配置文件的后缀为 ldif，且每个配置文件都是通过命令自动生成的，任意打开一个配置文件，在开头都会有一行注释，说明此为自动生成的文件，请勿编辑，使用ldapmodify命令进行修改

安装openldap后，会有三个命令用于修改配置文件，分别为ldapadd, ldapmodify, ldapdelete，顾名思义就是添加，修改和删除。而需要修改或增加配置时，则需要先写一个ldif后缀的配置文件，然后通过命令将写的配置更新到slapd.d目录下的配置文件中去。

总而言之:/etc/openldap/slapd.d 下的文件不能手动添加、修改和删除。

4.1 生成管理员密码

$ slappasswd -s 123456
{SSHA}ifcLacR1RubRTM5P7Ox+UlMMV+7GQFAy

4.2 复制配置模板

cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG

4.3 生成数据库文件

使用如下命令生成数据库文件，不必担心报错信息。

$ slaptest
5fcef848 hdb_db_open: database "dc=my-domain,dc=com": db_open(/var/lib/ldap/id2entry.bdb) failed: No such file or directory (2).
5fcef848 backend_startup_one (type=hdb, suffix="dc=my-domain,dc=com"): bi_db_open failed! (2)
slap_startup failed (test would succeed using the -u switch)

4.4 修改 LDAP 数据库所属用户与组

OpenLDAP有一个主要用户，它被称为“rootdn（Root Distinguished Name）”，这个用户已经在应用中被写死，不可更改。

chown ldap:ldap /var/lib/ldap/*

4.5 SElinux配置

$ setsebool -P httpd_can_connect_ldap on
$ getsebool httpd_can_connect_ldap
httpd_can_connect_ldap --> on

或者使用命令getenforce查看结果是否为Disabled，若不是，则关闭 Selinux：

临时的生效：执行setenforce 0;
永久生效：修改配置文件/etc/sysconfig/selinux，把SELINUX=disabled，然后重启。

4.6 启动 LDAP 进程 slapd

OpenLDAP 软件安装完成后，要使用它，需要启动 slapd 进程来调用程序：

$ systemctl start slapd
$ systemctl enable slapd

4.7 新增修改密码文件

ldif为后缀，文件名随意，不要在/etc/openldap/slapd.d/目录下创建类似文件

生成的文件为需要通过命令去动态修改ldap现有配置，如下，在家目录下，创建文件

$ mkdir ~/ldap
$ cd ldap
$ vim changepwd.ldif

dn: olcDatabase={0}config,cn=config
changetype: modify
add: olcRootPW
olcRootPW: {SSHA}ifcLacR1RubRTM5P7Ox+UlMMV+7GQFAy

注意：olcRootPW的值来自于章节“4.1 生成管理员密码”

文件内容说明：

第一行执行配置文件，这里就表示指定为 cn=config/olcDatabase={0}config 文件。你到/etc/openldap/slapd.d/目录下就能找到此文件
第二行 changetype 指定类型为修改
第三行 add 表示添加 olcRootPW 配置项
第四行指定 olcRootPW 配置项的值

在执行下面的命令前，你可以先查看原本的/etc/openldap/slapd.d/cn\=config/olcDatabase\=\{0\}config.ldif文件，里面是没有olcRootPW这个项的，执行命令后，你再看就会新增了olcRootPW项，而且内容是我们文件中指定的值加密后的字符串

4.8 执行命令修改ldap配置

ldapadd -Y EXTERNAL -H ldapi:/// -f ~/ldap/changepwd.ldif

查看olcDatabase={0}config内容,新增了一个olcRootPW项。

olcRootPW:: e1NTSEF9d1JMbnEzWDhGTWVQekZkZFp6S3JQTU5mMmVHWEhTTTU=

上面就是一个完整的修改配置的过程，再次重申不要直接修改/etc/openldap/slapd.d/目录下的配置。

4.9 LDAP中导入基本的 Schema

需要向 LDAP 中导入一些基本的 Schema。这些 Schema 文件位于 /etc/openldap/schema/ 目录中，schema控制着条目拥有哪些对象类和属性，可以自行选择需要的进行导入，依次执行下面的命令，导入基础的一些配置,这里将所有的都导入一下，其中core.ldif是默认已经加载了的，不用导入。

ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/inetorgperson.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/collective.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/corba.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/duaconf.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/dyngroup.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/java.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/misc.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/openldap.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/pmi.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/ppolicy.ldif

4.10 修改域名

新增changedomain.ldif, 这里我自定义的域名为fengxc.com，管理员用户账号为admin。

如果要修改，则修改文件中相应的dc=fengxc,dc=com为自己的域名

$ vim /etc/openldap/changedomain.ldif

dn: olcDatabase={1}monitor,cn=config
changetype: modify
replace: olcAccess
olcAccess: {0}to * by dn.base="gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth" read by dn.base="cn=admin,dc=fengxc,dc=com" read by * none

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=fengxc,dc=com

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootDN
olcRootDN: cn=admin,dc=fengxc,dc=com

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootPW
olcRootPW: {SSHA}fLe3LLnKYQYG+DQzViYr1Hyb04+7Pt6u

dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcAccess
olcAccess: {0}to attrs=userPassword,shadowLastChange by dn="cn=admin,dc=fengxc,dc=com" write by anonymous auth by self write by * none
olcAccess: {1}to dn.base="" by * read
olcAccess: {2}to * by dn="cn=admin,dc=fengxc,dc=com" write by * read

执行命令，修改配置。

$ ldapmodify -Y EXTERNAL -H ldapi:/// -f ~/ldap/changedomain.ldif

SASL/EXTERNAL authentication started
SASL username: gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth
SASL SSF: 0
modifying entry "olcDatabase={1}monitor,cn=config"

modifying entry "olcDatabase={2}hdb,cn=config" 

modifying entry "olcDatabase={2}hdb,cn=config" 

modifying entry "olcDatabase={2}hdb,cn=config"

modifying entry "olcDatabase={2}hdb,cn=config"

4.11 启用memberof功能

新增add-memberof.ldif, 开启memberof支持并新增用户支持memberof配置

$ vim ~/ldap/add-memberof.ldif 

dn: cn=module{0},cn=config
cn: modulle{0}
objectClass: olcModuleList
objectclass: top
olcModuleload: memberof.la
olcModulePath: /usr/lib64/openldap

dn: olcOverlay={0}memberof,olcDatabase={2}hdb,cn=config
objectClass: olcConfig
objectClass: olcMemberOf
objectClass: olcOverlayConfig
objectClass: top
olcOverlay: memberof
olcMemberOfDangling: ignore
olcMemberOfRefInt: TRUE
olcMemberOfGroupOC: groupOfUniqueNames
olcMemberOfMemberAD: uniqueMember
olcMemberOfMemberOfAD: memberOf

新增refint1.ldif文件

$ vim ~/ldap/refint1.ldif

dn: cn=module{0},cn=config
add: olcmoduleload
olcmoduleload: refint

新增refint2.ldif文件

$ vim ~/ldap/refint2.ldif

dn: olcOverlay=refint,olcDatabase={2}hdb,cn=config
objectClass: olcConfig
objectClass: olcOverlayConfig
objectClass: olcRefintConfig
objectClass: top
olcOverlay: refint
olcRefintAttribute: memberof uniqueMember  manager owner

依次执行下面命令，加载配置，顺序不能错

ldapadd -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/add-memberof.ldif
ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/refint1.ldif
ldapadd -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/refint2.ldif

4.12 创建组织角色

到此，配置修改完了，在上述基础上，创建一个叫做 “fengxc company” 的组织，并在其下创建一个 “admin” 的组织角色（该组织角色内的用户具有管理整个 LDAP 的权限）和 “People” 和 “Group” 两个组织单元：

vim ~/ldap/base.ldif

dn: dc=fengxc,dc=com
objectClass: top
objectClass: dcObject
objectClass: organization
o: fengxc Company
dc: fengxc

dn: cn=admin,dc=fengxc,dc=com
objectClass: organizationalRole
cn: admin

dn: ou=People,dc=fengxc,dc=com
objectClass: organizationalUnit
ou: People

dn: ou=Group,dc=fengxc,dc=com
objectClass: organizationalRole
cn: Group

说明：

执行命令，添加配置, 这里要注意修改域名为自己配置的域名，然后需要输入上面我们生成的密码

ldapadd -x -D cn=admin,dc=fengxc,dc=com -W -f ~/ldap/base.ldif

通过以上的所有步骤，我们就设置好了一个 LDAP 目录树：其中基准 “dc=fengxc,dc=com” 是该树的根节点，其下有一个管理域 “cn=admin,dc=fengxc,dc=com” 和两个组织单元 “ou=People,dc=fengxc,dc=com” 及 “ou=Group,dc=fengxc,dc=com”。

5 安装启动phpldapadmin

yum remove php*
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
rpm -Uvh http://rpms.remirepo.net/enterprise/remi-release-7.rpm
yum localinstall http://rpms.famillecollet.com/enterprise/remi-release-7.rpm
yum install php70w
yum install php70w-fpm
yum install php70w-ldap
yum install phpldapadmin
yum install nginx

5.1 修改配置用DN登录ldap

vim /etc/phpldapadmin/config.php

# 398行，默认是使用uid进行登录，我这里改为cn，也就是用户名
$servers->setValue('login','attr','cn');

# 460行，关闭匿名登录，否则任何人都可以直接匿名登录查看所有人的信息
$servers->setValue('login','anon_bind',false);

5.2 Nginx配置添加对phpldapadmin的反向代理

location /htdocs {
    alias /usr/share/phpldapadmin/htdocs;
    index index.php;
    location ~ \.php$ {
        alias /usr/share/phpldapadmin;
        fastcgi_pass 127.0.0.1:9000;
        fastcgi_index index.php;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }
}

5.3 启动 php-fpm

systemctl start php-fpm
systemctl enable php-fpm

5.4 启动nginx

systemctl start nginx
systemctl enable nginx

5.5 登录 phpLDAPadmin

646fe2ab15507450090a952bfa35b471

124685a33df4fab5294a28ded8374b57.png

6 使用migrationtools 创建用户

详见章节2.3

很好，到这一步你已经成功一半了，再接再厉！

回归正文，本章重点是如何创建LDAP用户。

migrationtools 这个工具我们之前已经安装好了。如果没有安装可以通过yum安装。

6.1 修改migrate_common.ph文件

# vim /usr/share/migrationtools/migrate_common.ph
# Default DNS domain
$DEFAULT_MAIL_DOMAIN = "fengxc.com";

# Default base 
$DEFAULT_BASE = "dc=fengxc,dc=com";

6.2 利用pl脚本将/etc/passwd 和/etc/group生成LDAP能读懂的文件格式

使用一个linux普通用户来测试。

$ useradd test
$ cat /etc/passwd | grep test > /tmp/passwd
$ cat /etcgroup | grep test > /tmp/group
$ /usr/share/migrationtools/migrate_base.pl > /tmp/base.ldif  
$ /usr/share/migrationtools/migrate_passwd.pl  /tmp/passwd > /tmp/passwd.ldif  
$ /usr/share/migrationtools/migrate_group.pl  /tmp/group > /tmp/group.ldif

6.3 将文件导入LDAP

$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/base.ldif 
$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/passwd.ldif 
$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/group.ldif

6.4 设置密码

登录phpLDAPadmin，定位到test账号，如下图中的 uid=test。

设置密码1

点击“赋值”

设置密码2

输入密码，点击“Check password”可以验证输入密码。

设置密码3

7 Hive配置LDAP

在 hive-site.xml 中配置添加以下配置

  <!-- hive server2 LDAP认证模式 配置 -->
  <property>
    <name>hive.server2.authentication</name>
    <value>LDAP</value>
    <description>客户端身份认证方式</description>
  </property>
  <property>
    <name>hive.server2.authentication.ldap.url</name>
    <value>ldap://centos3</value>
    <description>LDAP Url</description>
  </property>
  <property>
    <name>hive.server2.authentication.ldap.baseDN</name>
    <value>ou=People,dc=fengxc,dc=com</value>
    <description>LDAP搜索的baseDN</description>
  </property>

8 验证

8.1 启动HiveServer2

$ $HIVE_HOME/bin/hiveserver2

8.2 启动 LDAP

$ systemctl start slapd

8.1 使用Beeline验证

用于验证连接的用户名和密码来源于章节6

8.1.1 输入正确的用户名和密码

47a0ff930730be5eaec55fe10bbb0601

输入正确的用户名和密码连接成功。

8.1.1 输入错误的用户名和密码

045f1ff1be5fce54d4d3d3330ac4d9d2

输入错误的用户名和密码连接失败。

8.2 使用SpringBoot验证

8.2.1 Maven 依赖

测试Java程序能否连接上hive，下面3个依赖是关键。

<!-- mybatis -->
<dependency>
    <groupId>org.mybatis.spring.boot</groupId>
    <artifactId>mybatis-spring-boot-starter</artifactId>
    <version>1.3.2</version>
</dependency>
<!-- druid -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.1.23</version>
</dependency>
<!-- hive-jdbc -->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>2.3.7</version>
    <exclusions>
        <exclusion>
            <groupId>org.eclipse.jetty.aggregate</groupId>
            <artifactId>*</artifactId>
        </exclusion>
    </exclusions>
</dependency>

8.2.2 application.yml中配置错误的密码

在配置文件中，下面的这些配置是spring boot 应用连上hive的关键配置，故意输入错误的密码。

spring:
  datasource:
    url: jdbc:hive2://localhost:10000/airline
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: org.apache.hive.jdbc.HiveDriver
    username: test
    password: 654321

验证结果如下图所示：

03acf6a21d86363ee999b436569a0a6f

程序启动失败，错误提示为“create connection SQLException, url: jdbc:hive2://localhost:10000/airline, errorCode 0, state 08S01”

8.2.3 application.yml中配置正确的密码

在配置文件中，下面的这些配置是spring boot 应用连上hive的关键配置，输入正确的密码。

spring:
  datasource:
    url: jdbc:hive2://localhost:10000/airline
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: org.apache.hive.jdbc.HiveDriver
    username: test
    password: 123456

验证结果如下图所示：

8297adec35229e9205ed64a790ab935d

程序正常运行。

至此，本文结束。

参考资源

LDAP 中 CN, OU, DC 的含义

LDAP数据模型定义

LDAP系列（1）：快速搭建 LDAP 服务器

CentOS7采用yum方式安装PHP7

如何在OpenLDAP服务器上更改帐户密码

hive、impala集成ldap

快速搭建 LDAP 服务器与Hive集成
快速搭建 LDAP 服务器与Hive集成 1 前言 LDAP (Lightweight Directory Acc...
网络对抗原理实验二
一，OpenLDAP 搭建 LDAP 服务器用 OpenLDAP 搭建 LDAP 服务器,尝试对学生信息进行增删...
hive集成ldap
隶属于文章系列：大数据安全实战 https://www.jianshu.com/p/76627fd8399c
华为CE交换机radius认证登陆
radius服务器搭建参考centos7 下用FREERADIUS3+ldap(windowsAD)搭建radiu...
ActiveMq深入简出（二）---- ActiveMq与Spr
ActiveMq与SpringBoot集成基于SpringBoot快速搭建ActiveMq开发环境，实现消息队列...
尚硅谷大数据技术之HBase
6.4 与Hive的集成6.4.1 HBase与Hive的对比1．Hive(1) 数据仓库Hive的本质其实就相当...
How to Install OpenLDAP and Free
0.运行环境：Ubuntu 16.04 LTS 1.用 OpenLDAP 搭建 LDAP 服务器,尝试对学生信息进...
安全设备汇总
网络准入关键字：fedora、交换机802.1x、交换机与服务器、radius、ldap radius与ldap...
XDH_LESSON6
服务器集群搭建、管理与快速部署四台ubuntu虚拟机搭建集群服务器。什么叫服务器集群?服务器集群就是指将很多服务器...
21 sparkSQL
sparkSQL服务架构 sparkSQL与Hive集成 1需要配置的项目 1、拷贝hive的配置文件 Hive-...

快速搭建 LDAP 服务器与Hive集成

快速搭建 LDAP 服务器与Hive集成

1 前言

2 关闭防火墙

3 安装 OpenLDAP 组件

4 修改LDAP配置

4.1 生成管理员密码

4.2 复制配置模板

4.3 生成数据库文件

4.4 修改 LDAP 数据库所属用户与组

4.5 SElinux配置

4.6 启动 LDAP 进程 slapd

4.7 新增修改密码文件

4.8 执行命令修改ldap配置

4.9 LDAP中导入基本的 Schema

4.10 修改域名

4.11 启用memberof功能

4.12 创建组织角色

5 安装启动phpldapadmin

5.1 修改配置用DN登录ldap

5.2 Nginx配置添加对phpldapadmin的反向代理

5.3 启动 php-fpm

5.4 启动nginx

5.5 登录 phpLDAPadmin

6 使用migrationtools 创建用户

6.1 修改migrate_common.ph文件

6.2 利用pl脚本将/etc/passwd 和/etc/group生成LDAP能读懂的文件格式

6.3 将文件导入LDAP

6.4 设置密码

7 Hive配置LDAP

8 验证

8.1 启动HiveServer2

8.2 启动 LDAP

8.1 使用Beeline验证

8.1.1 输入正确的用户名和密码

8.1.1 输入错误的用户名和密码

8.2 使用SpringBoot验证

8.2.1 Maven 依赖

8.2.2 application.yml中配置错误的密码

8.2.3 application.yml中配置正确的密码

参考资源

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读