快速搭建 LDAP 服务器与Hive集成
1 前言
LDAP (Lightweight Directory Access Protocol) 是轻型目录访问协议，以目录形式存储信息（基于目录的数据库），具有良好的读性能。
本文的目的是帮助你快速搭建 LDAP 服务器。
本文所使用的服务器是 centos7
2 关闭防火墙
首先使用systemctl status firewalld确认防火墙是否打开，如过打开，则关闭：
systemctl stop firewalld
systemctl disable firewalld
3 安装 OpenLDAP 组件
yum install -y openldap openldap-servers openldap-clients openldap-devel compat-openldap migrationtools
4 修改LDAP配置
这里就是重点中的重点了，从openldap2.4.23版本开始，所有配置都保存在/etc/openldap/slapd.d目录下的cn=config文件夹内，不再使用slapd.conf作为配置文件。配置文件的后缀为 ldif，且每个配置文件都是通过命令自动生成的，任意打开一个配置文件，在开头都会有一行注释，说明此为自动生成的文件，请勿编辑，使用ldapmodify命令进行修改
安装openldap后，会有三个命令用于修改配置文件，分别为ldapadd, ldapmodify, ldapdelete，顾名思义就是添加，修改和删除。而需要修改或增加配置时，则需要先写一个ldif后缀的配置文件，然后通过命令将写的配置更新到slapd.d目录下的配置文件中去。
总而言之:/etc/openldap/slapd.d 下的文件不能手动添加、修改和删除。
4.1 生成管理员密码
$ slappasswd -s 123456
{SSHA}ifcLacR1RubRTM5P7Ox+UlMMV+7GQFAy
4.2 复制配置模板
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
4.3 生成数据库文件
使用如下命令生成数据库文件，不必担心报错信息。
$ slaptest
5fcef848 hdb_db_open: database "dc=my-domain,dc=com": db_open(/var/lib/ldap/id2entry.bdb) failed: No such file or directory (2).
5fcef848 backend_startup_one (type=hdb, suffix="dc=my-domain,dc=com"): bi_db_open failed! (2)
slap_startup failed (test would succeed using the -u switch)
4.4 修改 LDAP 数据库所属用户与组
OpenLDAP有一个主要用户，它被称为“rootdn（Root Distinguished Name）”，这个用户已经在应用中被写死，不可更改。
chown ldap:ldap /var/lib/ldap/*
4.5 SElinux配置
$ setsebool -P httpd_can_connect_ldap on
$ getsebool httpd_can_connect_ldap
httpd_can_connect_ldap --> on
或者使用命令getenforce查看结果是否为Disabled，若不是，则关闭 Selinux：
- 临时的生效：执行
setenforce 0; - 永久生效：修改配置文件
/etc/sysconfig/selinux，把SELINUX=disabled，然后重启 。
4.6 启动 LDAP 进程 slapd
OpenLDAP 软件安装完成后，要使用它，需要启动 slapd 进程来调用程序：
$ systemctl start slapd
$ systemctl enable slapd
4.7 新增修改密码文件
ldif为后缀，文件名随意，不要在/etc/openldap/slapd.d/目录下创建类似文件
生成的文件为需要通过命令去动态修改ldap现有配置，如下，在家目录下，创建文件
$ mkdir ~/ldap
$ cd ldap
$ vim changepwd.ldif
dn: olcDatabase={0}config,cn=config
changetype: modify
add: olcRootPW
olcRootPW: {SSHA}ifcLacR1RubRTM5P7Ox+UlMMV+7GQFAy
注意：olcRootPW的值来自于章节“4.1 生成管理员密码”
文件内容说明：
- 第一行执行配置文件，这里就表示指定为 cn=config/olcDatabase={0}config 文件。你到/etc/openldap/slapd.d/目录下就能找到此文件
- 第二行 changetype 指定类型为修改
- 第三行 add 表示添加 olcRootPW 配置项
- 第四行指定 olcRootPW 配置项的值
在执行下面的命令前，你可以先查看原本的/etc/openldap/slapd.d/cn\=config/olcDatabase\=\{0\}config.ldif文件，里面是没有olcRootPW这个项的，执行命令后，你再看就会新增了olcRootPW项，而且内容是我们文件中指定的值加密后的字符串
4.8 执行命令修改ldap配置
ldapadd -Y EXTERNAL -H ldapi:/// -f ~/ldap/changepwd.ldif
查看olcDatabase={0}config内容,新增了一个olcRootPW项。
olcRootPW:: e1NTSEF9d1JMbnEzWDhGTWVQekZkZFp6S3JQTU5mMmVHWEhTTTU=
上面就是一个完整的修改配置的过程，再次重申不要直接修改/etc/openldap/slapd.d/目录下的配置。
4.9 LDAP中导入基本的 Schema
需要向 LDAP 中导入一些基本的 Schema。这些 Schema 文件位于 /etc/openldap/schema/ 目录中，schema控制着条目拥有哪些对象类和属性，可以自行选择需要的进行导入， 依次执行下面的命令，导入基础的一些配置,这里将所有的都导入一下，其中core.ldif是默认已经加载了的，不用导入。
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/inetorgperson.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/collective.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/corba.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/duaconf.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/dyngroup.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/java.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/misc.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/openldap.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/pmi.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/ppolicy.ldif
4.10 修改域名
新增changedomain.ldif, 这里我自定义的域名为fengxc.com，管理员用户账号为admin。
如果要修改，则修改文件中相应的dc=fengxc,dc=com为自己的域名
$ vim /etc/openldap/changedomain.ldif
dn: olcDatabase={1}monitor,cn=config
changetype: modify
replace: olcAccess
olcAccess: {0}to * by dn.base="gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth" read by dn.base="cn=admin,dc=fengxc,dc=com" read by * none
dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=fengxc,dc=com
dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootDN
olcRootDN: cn=admin,dc=fengxc,dc=com
dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootPW
olcRootPW: {SSHA}fLe3LLnKYQYG+DQzViYr1Hyb04+7Pt6u
dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcAccess
olcAccess: {0}to attrs=userPassword,shadowLastChange by dn="cn=admin,dc=fengxc,dc=com" write by anonymous auth by self write by * none
olcAccess: {1}to dn.base="" by * read
olcAccess: {2}to * by dn="cn=admin,dc=fengxc,dc=com" write by * read
执行命令，修改配置。
$ ldapmodify -Y EXTERNAL -H ldapi:/// -f ~/ldap/changedomain.ldif
SASL/EXTERNAL authentication started
SASL username: gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth
SASL SSF: 0
modifying entry "olcDatabase={1}monitor,cn=config"
modifying entry "olcDatabase={2}hdb,cn=config"
modifying entry "olcDatabase={2}hdb,cn=config"
modifying entry "olcDatabase={2}hdb,cn=config"
modifying entry "olcDatabase={2}hdb,cn=config"
4.11 启用memberof功能
新增add-memberof.ldif, 开启memberof支持并新增用户支持memberof配置
$ vim ~/ldap/add-memberof.ldif
dn: cn=module{0},cn=config
cn: modulle{0}
objectClass: olcModuleList
objectclass: top
olcModuleload: memberof.la
olcModulePath: /usr/lib64/openldap
dn: olcOverlay={0}memberof,olcDatabase={2}hdb,cn=config
objectClass: olcConfig
objectClass: olcMemberOf
objectClass: olcOverlayConfig
objectClass: top
olcOverlay: memberof
olcMemberOfDangling: ignore
olcMemberOfRefInt: TRUE
olcMemberOfGroupOC: groupOfUniqueNames
olcMemberOfMemberAD: uniqueMember
olcMemberOfMemberOfAD: memberOf
新增refint1.ldif文件
$ vim ~/ldap/refint1.ldif
dn: cn=module{0},cn=config
add: olcmoduleload
olcmoduleload: refint
新增refint2.ldif文件
$ vim ~/ldap/refint2.ldif
dn: olcOverlay=refint,olcDatabase={2}hdb,cn=config
objectClass: olcConfig
objectClass: olcOverlayConfig
objectClass: olcRefintConfig
objectClass: top
olcOverlay: refint
olcRefintAttribute: memberof uniqueMember manager owner
依次执行下面命令，加载配置，顺序不能错
ldapadd -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/add-memberof.ldif
ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/refint1.ldif
ldapadd -Q -Y EXTERNAL -H ldapi:/// -f ~/ldap/refint2.ldif
4.12 创建组织角色
到此，配置修改完了，在上述基础上，创建一个叫做 “fengxc company” 的组织，并在其下创建一个 “admin” 的组织角色（该组织角色内的用户具有管理整个 LDAP 的权限）和 “People” 和 “Group” 两个组织单元：
vim ~/ldap/base.ldif
dn: dc=fengxc,dc=com
objectClass: top
objectClass: dcObject
objectClass: organization
o: fengxc Company
dc: fengxc
dn: cn=admin,dc=fengxc,dc=com
objectClass: organizationalRole
cn: admin
dn: ou=People,dc=fengxc,dc=com
objectClass: organizationalUnit
ou: People
dn: ou=Group,dc=fengxc,dc=com
objectClass: organizationalRole
cn: Group
说明：
执行命令，添加配置, 这里要注意修改域名为自己配置的域名，然后需要输入上面我们生成的密码
ldapadd -x -D cn=admin,dc=fengxc,dc=com -W -f ~/ldap/base.ldif
通过以上的所有步骤，我们就设置好了一个 LDAP 目录树：其中基准 “dc=fengxc,dc=com” 是该树的根节点，其下有一个管理域 “cn=admin,dc=fengxc,dc=com” 和两个组织单元 “ou=People,dc=fengxc,dc=com” 及 “ou=Group,dc=fengxc,dc=com”。
5 安装启动phpldapadmin
yum remove php*
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
rpm -Uvh http://rpms.remirepo.net/enterprise/remi-release-7.rpm
yum localinstall http://rpms.famillecollet.com/enterprise/remi-release-7.rpm
yum install php70w
yum install php70w-fpm
yum install php70w-ldap
yum install phpldapadmin
yum install nginx
5.1 修改配置用DN登录ldap
vim /etc/phpldapadmin/config.php
# 398行，默认是使用uid进行登录，我这里改为cn，也就是用户名
$servers->setValue('login','attr','cn');
# 460行，关闭匿名登录，否则任何人都可以直接匿名登录查看所有人的信息
$servers->setValue('login','anon_bind',false);
5.2 Nginx配置添加对phpldapadmin的反向代理
location /htdocs {
alias /usr/share/phpldapadmin/htdocs;
index index.php;
location ~ \.php$ {
alias /usr/share/phpldapadmin;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
}
5.3 启动 php-fpm
systemctl start php-fpm
systemctl enable php-fpm
5.4 启动nginx
systemctl start nginx
systemctl enable nginx
5.5 登录 phpLDAPadmin
646fe2ab15507450090a952bfa35b471
124685a33df4fab5294a28ded8374b57.png
6 使用migrationtools 创建用户
详见章节2.3
很好，到这一步你已经成功一半了，再接再厉！
回归正文，本章重点是如何创建LDAP用户。
migrationtools 这个工具我们之前已经安装好了。如果没有安装可以通过yum安装。
6.1 修改migrate_common.ph文件
# vim /usr/share/migrationtools/migrate_common.ph
# Default DNS domain
$DEFAULT_MAIL_DOMAIN = "fengxc.com";
# Default base
$DEFAULT_BASE = "dc=fengxc,dc=com";
6.2 利用pl脚本将/etc/passwd 和/etc/group生成LDAP能读懂的文件格式
使用一个linux普通用户来测试。
$ useradd test
$ cat /etc/passwd | grep test > /tmp/passwd
$ cat /etcgroup | grep test > /tmp/group
$ /usr/share/migrationtools/migrate_base.pl > /tmp/base.ldif
$ /usr/share/migrationtools/migrate_passwd.pl /tmp/passwd > /tmp/passwd.ldif
$ /usr/share/migrationtools/migrate_group.pl /tmp/group > /tmp/group.ldif
6.3 将文件导入LDAP
$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/base.ldif
$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/passwd.ldif
$ ldapadd -x -D "cn=admin,dc=fengxc,dc=com" -W -f /tmp/group.ldif
6.4 设置密码
登录phpLDAPadmin，定位到test账号，如下图中的 uid=test。
设置密码1
点击“赋值”
设置密码2
输入密码，点击“Check password”可以验证输入密码。
设置密码3
7 Hive配置LDAP
在 hive-site.xml 中配置添加以下配置
<!-- hive server2 LDAP认证模式 配置 -->
<property>
<name>hive.server2.authentication</name>
<value>LDAP</value>
<description>客户端身份认证方式</description>
</property>
<property>
<name>hive.server2.authentication.ldap.url</name>
<value>ldap://centos3</value>
<description>LDAP Url</description>
</property>
<property>
<name>hive.server2.authentication.ldap.baseDN</name>
<value>ou=People,dc=fengxc,dc=com</value>
<description>LDAP搜索的baseDN</description>
</property>
8 验证
8.1 启动HiveServer2
$ $HIVE_HOME/bin/hiveserver2
8.2 启动 LDAP
$ systemctl start slapd
8.1 使用Beeline验证
用于验证连接的用户名和密码来源于章节6
8.1.1 输入正确的用户名和密码
47a0ff930730be5eaec55fe10bbb0601
输入正确的用户名和密码连接成功。
8.1.1 输入错误的用户名和密码
045f1ff1be5fce54d4d3d3330ac4d9d2
输入错误的用户名和密码连接失败。
8.2 使用SpringBoot验证
8.2.1 Maven 依赖
测试Java程序能否连接上hive，下面3个依赖是关键。
<!-- mybatis -->
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>1.3.2</version>
</dependency>
<!-- druid -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid-spring-boot-starter</artifactId>
<version>1.1.23</version>
</dependency>
<!-- hive-jdbc -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>2.3.7</version>
<exclusions>
<exclusion>
<groupId>org.eclipse.jetty.aggregate</groupId>
<artifactId>*</artifactId>
</exclusion>
</exclusions>
</dependency>
8.2.2 application.yml中配置错误的密码
在配置文件中，下面的这些配置是spring boot 应用连上hive的关键配置，故意输入错误的密码。
spring:
datasource:
url: jdbc:hive2://localhost:10000/airline
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: org.apache.hive.jdbc.HiveDriver
username: test
password: 654321
验证结果如下图所示：
03acf6a21d86363ee999b436569a0a6f
程序启动失败，错误提示为“create connection SQLException, url: jdbc:hive2://localhost:10000/airline, errorCode 0, state 08S01”
8.2.3 application.yml中配置正确的密码
在配置文件中，下面的这些配置是spring boot 应用连上hive的关键配置，输入正确的密码。
spring:
datasource:
url: jdbc:hive2://localhost:10000/airline
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: org.apache.hive.jdbc.HiveDriver
username: test
password: 123456
验证结果如下图所示：
8297adec35229e9205ed64a790ab935d
程序正常运行。
至此，本文结束。
网友评论