美文网首页大数据运维及安全@IT·互联网
Step by Step 实现基于 Cloudera 5.8.2

Step by Step 实现基于 Cloudera 5.8.2

作者: 大数据之心 | 来源:发表于2017-02-19 23:36 被阅读807次

    传输层加密的概念和知识请自行谷歌。本文主要阐述如何进行 Cloudera Manager 本身组件的 TLS / SSL，以及 Hadoop 组件的 TLS / SSL。

    Clouder Manager 组件传输层加密

    传输层安全性 (TLS) 在 Cloudera Manager Server 和 agent 之间的通信中提供加密和身份验证。加密可防止监听，而身份验证有助于防止恶意 server 或 agent 所导致的问题。Cloudera Manager 支持三个级别的 TLS 安全性。

    • 级别 1（良好）- 此级别会对浏览器和 Cloudera Manager 以及 Agent 和 Cloudera Manager Server 之间的通信进行加密。级别 1 加密可防止监听命令，并控制代理与 Cloudera Manager 之间正在进行的通信。
    • 级别 2（更佳）- 此级别会对 Agent 和 Server 之间的通信进行加密，并对 Agent 呈交的 Cloudera Manager Server 证书提供强大验证。级别 2 通过验证 Cloudera Manager Server 呈交的证书的信任来加强 Agent 的安全性。
    • 级别 3（最佳）- 包括对 Agent 与 Server 之间的通信进行加密、对 Agent 呈交的 Cloudera Manager Server 证书提供强大验证以及使用自签名和颁发机构签名的证书向 Cloudera Manager Server 验证代理。级别 3 TLS 可防止主机上运行的不受信任的 Agent 监听集群服务器。建议在启用 Kerberos 身份验证之前为不受信任的网络环境配置级别 3 TLS 加密。这样做可在 Cloudera Manager Server 与群集上的已验证的 Agent 之间提供安全的 Keytab 通信。

    在进行后续配置前，我们关注下前序条件：

    • 集群功能齐备，包括必要的核心服务；
    • 启用 TLS 时，将继续在端口 7180 上接受 HTTP 请求，但是会立即将客户端重定向到端口 7183 来实现 HTTPS 连接；
    • 当配置了级别 3 TLS 时，要添加 Cloudera Agent，必须为主机颁发新证书，配置 /opt/cm-5.6.0/etc/cloudera-scm-agent/config.ini 以使用 SSL / TLS；或者，禁用 TLS 以添加主机，为 TLS 配置新主机，然后使用现有的适当配置重新启用；
    • 对于所有 Agent，首先在 Java 中创建 Keystore，然后 使用 OpenSSL 导出密钥和证书以供 Agent 或 HUE 使用；

    本文中，我们使用的所有证书都是自签名证书，网上有许多免费证书签名机构，比如：https://www.startssl.com/
    读者可以在熟练掌握后自行申请。

    TLS 0: 启用Cloudera Manager Admin Console 加密

    Step1. 生成并创建自签名证书

    list_all 文件包括了所有 Cloudera 服务器(Server 和 Agent)：

    192.168.1.1
192.168.1.3
192.168.1.4
192.168.1.5
192.168.1.6
192.168.1.7
192.168.1.8
192.168.1.9
192.168.1.10
192.168.1.11
192.168.1.12
192.168.1.13
192.168.1.14
192.168.1.15
192.168.1.16
192.168.1.17

    在所有节点(包括 Cloudera Server 和 Cloudera Agent)创建安全相关目录，/opt/cloudera 为之前我们部署 Cloudera 的根目录， cloudera-scm 是 Cloudera 部署时自动创建的超级管理员账户，相关信息可以看Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - 基础部署：

    pssh -h list_all "sudo mkdir -p /opt/cloudera/security/x509/ /opt/cloudera/security/jks/"
pssh -h list_all "sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/security"

    这一步中我们创建了默认的 Cloudera 安全文件存放路径，并且赋权给了 cloudera-scm 管理员权限。

    在所有节点生成密钥对和自签名证书，并将它们存储在 JKS 格式的密钥库（cms.keystore）中。 将 -keypass 设置为与 -storepass 相同的值：

    pscp -h list_all generate_jks.sh /tmp
pssh -h list_all "sudo /usr/bin/bash /tmp/generate_jks.sh"

    其中脚本 generate_jks.sh 的内容如下，请对 JAVA_HOME、STORE_PASS进行赋值：

    #!/bin/bash
JAVA_HOME=${JAVA_HOME}
BASE_SECURITY_PATH=/opt/cloudera/security/
KEYSTORE_NAME=cms.keystore
KEYSTORE_ALIAS=cms
HOSTNAME=`hostname -f`
STORE_PASS=${STORE_PASS}
 
sudo ${JAVA_HOME}/bin/keytool -genkeypair -keystore ${BASE_SECURITY_PATH}/jks/${KEYSTORE_NAME}.${HOSTNAME} -keyalg RSA -alias ${KEYSTORE_ALIAS}.${HOSTNAME} -dname "CN=${HOSTNAME},OU=Bigdata,O=Domain,L=Hangzhou,ST=Zhejiang,C=CN" -storepass ${STORE_PASS} -keypass ${STORE_PASS}

    将缺省 Java 信任库（cacerts）复制到备用系统信任库（jssecacerts），自签名证书导入到 jssecacerts，而不修改默认 cacerts 文件，并从密钥库（cms.keystore）导出证书：

    pscp -h list_all generate_ca.sh /tmp
pssh -h list_all "sudo /usr/bin/bash /tmp/generate_ca.sh"

    其中脚本 generate_ca.sh 的内容如下，请对 JAVA_HOME、STORE_PASS进行赋值：

    #!/bin/bash
 
JAVA_HOME=${JAVA_HOME}
BASE_SECURITY_PATH=/opt/cloudera/security/
KEYSTORE_ALIAS=cms
KEYSTORE_NAME=cms.keystore
SELF_CA_NAME=selfsigned.cer
STORE_PASS=${STORE_PASS}
PEM_NAME=cmhost.pem
HOSTNAME=`hostname -f`
 
sudo cp ${JAVA_HOME}/jre/lib/security/cacerts ${JAVA_HOME}/jre/lib/security/jssecacerts.${HOSTNAME}
sudo ${JAVA_HOME}/bin/keytool -export -alias ${KEYSTORE_ALIAS}.${HOSTNAME} -keystore ${BASE_SECURITY_PATH}/jks/${KEYSTORE_NAME}.${HOSTNAME} -rfc -file ${BASE_SECURITY_PATH}/${SELF_CA_NAME}.${HOSTNAME} -storepass ${STORE_PASS}
sudo cp ${BASE_SECURITY_PATH}/${SELF_CA_NAME}.${HOSTNAME} ${BASE_SECURITY_PATH}/x509/${PEM_NAME}.${HOSTNAME}
sudo chown cloudera-scm:cloudera-scm ${BASE_SECURITY_PATH}/x509/${PEM_NAME}.${HOSTNAME}
sudo cp ${BASE_SECURITY_PATH}/${SELF_CA_NAME}.${HOSTNAME} /tmp

    我们需要使用 expect 进行交互式脚本批量处理：

    pssh -h list_all "sudo yum install -y expect tcl"

    修改默认 jssecacerts 库密码：

    pscp -h list_all modify_jssecacerts_passwd.expect /tmp
pscp -h list_all modify_jssecacerts_passwd.sh /tmp
pssh -h list_all "sudo /bin/bash /tmp/modify_jssecacerts_passwd.sh"

    其中脚本 modify_jssecacerts_passwd.expect 的内容如下：

    #!/usr/bin/expect -f
 
set JAVA_HOME ${JAVA_HOME}
set timeout 300
set current_passwd [lindex $argv 0]
set new_passwd [lindex $argv 1]
set hostname [lindex $argv 2]
 
spawn sudo ${JAVA_HOME}/bin/keytool -storepasswd -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.${hostname}
    sleep 1
    expect "Enter keystore password:"
    send "${current_passwd}\r"
    expect "New keystore password:"
    send "${new_passwd}\r"
    expect "Re-enter new keystore password:"
    send "${new_passwd}\r"
expect eof

    其中脚本 modify_jssecacerts_passwd.sh 的内容如下，${CURRENT_PASSWD} 为 changeit , ${NEW_PASSWD} 为新指定的密码，需要读者自行设置：

    #/bin/bash
CURRENT_PASSWD=${CURRENT_PASSWD}
NEW_PASSWD=${NEW_PASSWD}
HOSTNAME=`hostname -f`
 
sudo /usr/bin/expect /tmp/modify_jssecacerts_passwd.expect ${CURRENT_PASSWD} ${NEW_PASSWD} ${HOSTNAME}

    在每台机器上执行，把客户端的自签名证书导入到客户端本地的信任库：

    pscp -h list_all import_ca.expect /tmp
pscp -h list_all import_ca.sh /tmp
pssh -h list_all "sudo /bin/bash /tmp/import_ca.sh"

    其中脚本 import_ca.expect 的内容如下，请对 JAVA_HOME进行赋值：

    #!/usr/bin/expect -f
 
set JAVA_HOME ${JAVA_HOME}
set keystore_alias cms
set self_ca_name selfsigned.cer
set timeout 300
set storepass [lindex $argv 0]
set hostname [lindex $argv 1]
  
spawn sudo ${JAVA_HOME}/bin/keytool -import -alias ${keystore_alias}.${hostname} -file /tmp/${self_ca_name}.${hostname} -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.${hostname} -storepass ${storepass}
    sleep 1
    expect "Trust this certificate?"
    send "yes\r"
expect eof

    其中脚本 import_ca.sh 的内容如下，请对 PASSWD进行赋值，为之前我们新指定的 jssecacerts 信任库密码：

    #!/bin/bash
PASSWD=${PASSWD}
HOSTNAME=`hostname -f`
 
sudo /usr/bin/expect /tmp/import_ca.expect ${PASSWD} ${HOSTNAME}

    在主节点(Cloudera Server) 192.168.1.1 上执行，把所有客户端的证书注入公共库，并且分发(list_agents_hostname 为 slave 的主机名 FQDN 列表)：

    s001003.dc1.domain.com
s001004.dc1.domain.com
s001005.dc1.domain.com
s001006.dc1.domain.com
s001007.dc1.domain.com
s001008.dc1.domain.com
s001009.dc1.domain.com
s001010.dc1.domain.com
s001011.dc1.domain.com
s001012.dc1.domain.com
s001013.dc1.domain.com
s001014.dc1.domain.com
s001015.dc1.domain.com
s001016.dc1.domain.com
s001017.dc1.domain.com

    sudo /bin/bash modify_jssecacerts_public_passwd.sh
/bin/bash get_ca_from_slave.sh
sudo /bin/bash import_ca_public.sh
pscp -h list_agents_hostname ${JAVA_HOME}/jre/lib/security/jssecacerts.public /tmp
pssh -h list_agents_hostname "sudo cp /tmp/jssecacerts.public ${JAVA_HOME}/jre/lib/security/"

    其中脚本modify_jssecacerts_public_passwd.sh 的内容如下，请对 JAVA_HOME、CURRENT_PASSWD、NEW_PASSWD进行赋值，CURRENT_PASSWD 为 changeit：

    #!/bin/bash
JAVA_HOME=${JAVA_HOME}
CURRENT_PASSWD=${CURRENT_PASSWD}
NEW_PASSWD=${NEW_PASSWD}
 
sudo cp ${JAVA_HOME}/jre/lib/security/cacerts ${JAVA_HOME}/jre/lib/security/jssecacerts.public
sudo cp modify_jssecacerts_public_passwd.expect /tmp
sudo /usr/bin/expect /tmp/modify_jssecacerts_public_passwd.expect ${CURRENT_PASSWD} ${NEW_PASSWD}

    其中脚本 get_ca_from_slave.sh 的内容如下：

    #!/bin/bash

SELF_CA_NAME=selfsigned.cer

for slave in `cat list_agents_hostname`
do
    scp ${slave}:/tmp/${SELF_CA_NAME}.${slave} /tmp
done

    其中脚本 import_ca_public.sh 的内容如下：

    #!/bin/bash

SELF_CA_NAME=selfsigned.cer
NEW_PASSWD=${new_passwd}

sudo cp import_ca_public.expect /tmp
for slave in `cat list_agents_hostname`
do
    sudo /usr/bin/expect /tmp/import_ca_public.expect ${NEW_PASSWD} ${slave}
done

    其中脚本 modify_jssecacerts_public_passwd.expect 的内容如下，请对 JAVA_HOME进行赋值：

    #!/usr/bin/expect -f
  
set JAVA_HOME ${JAVA_HOME}
set timeout 300
set current_passwd [lindex $argv 0]
set new_passwd [lindex $argv 1]
  
spawn sudo ${JAVA_HOME}/bin/keytool -storepasswd -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.public
    sleep 1
    expect "Enter keystore password:"
    send "${current_passwd}\r"
    expect "New keystore password:"
    send "${new_passwd}\r"
    expect "Re-enter new keystore password:"
    send "${new_passwd}\r"
expect eof

    其中脚本 import_ca_public.expect 的内容如下，请对 JAVA_HOME进行赋值：

    #!/usr/bin/expect -f
  
set JAVA_HOME ${JAVA_HOME}
set keystore_alias cms
set self_ca_name selfsigned.cer
set timeout 300
set storepass [lindex $argv 0]
set hostname [lindex $argv 1]
  
spawn sudo ${JAVA_HOME}/bin/keytool -import -alias ${keystore_alias}.${hostname} -file /tmp/${self_ca_name}.${hostname} -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.public -storepass ${storepass}
    sleep 1
    expect "Trust this certificate?"
    send "yes\r"
expect eof

    Step2. 启动 Admin Console 的 HTTPS 加密访问

    • 登录到 Cloudera Manager Administration Console (http://192.168.1.1:7180)；
    • 选择 Administration -> Settings；
    • 点击 Security 类目；
    • 进行如下 TLS 配置，其中 KEYSTORE_PASSWORD 为之前生成 JKS 密钥库密码：
    Use TLS Encryption for Admin Console = true
Path to TLS Keystore File = /opt/cloudera/security/jks/cms.keystore.192.168.1.1
Keystore Password = ${KEYSTORE_PASSWORD}
    • 点击 Save Changes 以保存配置（现在不需要重启 Cloudera Server）；

    Step3. 为 Cloudera Management Services 设置SSL

    • 打开 Cloudera Manager Administration Console (http://192.168.1.1:7180) 选择 Cloudera Management Service；
    • 点击 Configuration 选项卡；
    • 选择 Scope -> Cloudera Management Service (Service-Wide)；
    • 选择 Category -> Security；
    • 编辑以下 TLS/SSL 属性，其中 TRUSTSOTRE_FILE_PASSWORD 为之前我们设置的 jssecacerts.public 的新密码：
    TLS/SSL Client Truststore File Location = $JAVA_HOME/jre/lib/security/jssecacerts.public
TLS/SSL Client Truststore File Password = ${TRUSTSOTRE_FILE_PASSWORD}

    Step4. 重启服务

    重启顺序：

    • 重启 Cloudera SCM Server，这一步需要登录 192.168.1.1 进行终端操作；
    sudo /opt/cm-5.8.2/etc/init.d/cloudera-scm-server restart
    • 重启 Cloudera Management Services， 这一步直接可以在 Cloudera Manager Administration Console 操作；

    Step5. 验证加密是否生效

    现在可以通过 7183 端口以 HTTPS 协议访问 Cloudera Manager Administration Console ：

    https://192.168.1.1:7183/

    TLS 1: 为 Cloudera Agent 配置 TLS 加密

    登录 Cloudera Manager Admin Console 选择 Administration -> Settings -> Security 进行如下配置：

    Use TLS Encryption for Agents = TRUE

    点击 Save Changes 并重启 Cloudera Server:

    sudo /opt/cm-5.8.2/etc/init.d/cloudera-scm-server restart

    在每台 Cloudera Agent 节点执行：

    pssh -h list_agents "sudo sed -i 's|use_tls=0|use_tls=1|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo /bin/systemctl restart cloudera-scm-agent"

    验证加密是否生效：

    在 Cloudera Manager Admin Console，打开 Hosts 页面。 如果 Agent 心跳正常，则说明TLS 加密正常工作。

    TLS 2: 在Cloudera Agent 上启用服务器的证书认证

    修改主节点 192.168.1.1 /etc/cloudera-scm-agent/config.ini 配置文件，解注并设置如下属性：

    sudo sed -i "s|# verify_cert_file=|verify_cert_file=\/opt\/cloudera\/security\/x509\/cmhost.pem.192.168.1.1|g" /etc/cloudera-scm-agent/config.ini

    重启 Cloudera Agent：

    pscp -h list_agents /opt/cloudera/security/x509/cmhost.pem.192.168.1.1 /tmp
pssh -h list_agents "sudo cp /tmp/cmhost.pem.192.168.1.1 /opt/cloudera/security/x509"
pssh -h list_agents "sudo sed -i 's|# verify_cert_file=|verify_cert_file=\/opt\/cloudera\/security\/x509\/cmhost.pem.192.168.1.1|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo /bin/systemctl restart cloudera-scm-agent"

    在 Cloudera Manager Admin Console 中重启 Cloudera Management Service。

    验证加密是否生效：

    在 Cloudera Manager Admin Console，打开 Hosts 页面。 如果 Agent 心跳正常，则说明TLS 加密正常工作。

    TLS 3: 启用服务端对客户端的证书认证

    Step1. 在所有节点上操作，每个节点的目录存放自己的 P12 格式证书、密钥和密钥密码

    pscp -h list_all init_p12.sh /tmp
pssh -h list_all "sudo /bin/bash /tmp/init_p12.sh"

    其中脚本init_p12.sh 内容如下，请对 JAVA_HOME PASSWD进行赋值，其中 PASSWD 为之前定义的 JKS 密钥库密码：

    #!/bin/bash
 
JAVA_HOME=${JAVA_HOME}
BASE_SECURITY_PATH=/opt/cloudera/security
KEYSTORE_ALIAS=cms
KEYSTORE_NAME=cms.keystore
HOSTNAME=`hostname -f`
PASSWD=${PASSWD}
P12_NAME=cms.pem
P12_KEY_NAME=cms.key
 
sudo -u cloudera-scm ${JAVA_HOME}/bin/keytool -importkeystore -srckeystore ${BASE_SECURITY_PATH}/jks/${KEYSTORE_NAME}.${HOSTNAME} \
-srcstorepass ${PASSWD} -srckeypass ${PASSWD} -destkeystore /tmp/${KEYSTORE_NAME}.p12.${HOSTNAME} \
-deststoretype PKCS12 -srcalias ${KEYSTORE_ALIAS}.${HOSTNAME} -deststorepass ${PASSWD} -destkeypass ${PASSWD}
 
sudo -u cloudera-scm openssl pkcs12 -in /tmp/${KEYSTORE_NAME}.p12.${HOSTNAME} -passin pass:${PASSWD}  -nokeys \
-out ${BASE_SECURITY_PATH}/x509/${P12_NAME}.${HOSTNAME}
sudo -u cloudera-scm openssl pkcs12 -in /tmp/${KEYSTORE_NAME}.p12.${HOSTNAME} -passin pass:${PASSWD} -nocerts \
-out ${BASE_SECURITY_PATH}/x509/${P12_KEY_NAME}.${HOSTNAME} -passout pass:${PASSWD}
 
sudo echo "${PASSWD}" > /tmp/agentkey.pw.${HOSTNAME}
sudo cp /tmp/agentkey.pw.${HOSTNAME} /opt/cloudera/security/x509/
sudo chown root.root /opt/cloudera/security/x509/agentkey.pw.${HOSTNAME}
sudo chmod 644 /opt/cloudera/security/x509/agentkey.pw.${HOSTNAME}

sudo -u cloudera-scm cp ${BASE_SECURITY_PATH}/x509/${P12_NAME}.${HOSTNAME} ${BASE_SECURITY_PATH}/x509/${P12_NAME}.cmagent
sudo -u cloudera-scm cp ${BASE_SECURITY_PATH}/x509/${P12_KEY_NAME}.${HOSTNAME} ${BASE_SECURITY_PATH}/x509/${P12_KEY_NAME}.cmagent
sudo cp /opt/cloudera/security/x509/agentkey.pw.${HOSTNAME} /opt/cloudera/security/x509/agentkey.pw.cmagent

    Step2. 将 Agent 配置为使用私钥和证书

    在每个 Agent 上，打开 /etc/cloudera-scm-agent/config.ini 配置文件并编辑以下属性：

    pssh -h list_agents "sudo sed -i 's|# client_key_file=|client_key_file=\/opt\/cloudera\/security\/x509\/cms.key.cmagent|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo sed -i 's|# client_keypw_file=|client_keypw_file=\/opt\/cloudera\/security\/x509\/agentkey.pw.cmagent|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo sed -i 's|# client_cert_file=|client_cert_file=\/opt\/cloudera\/security\/x509\/cms.pem.cmagent|g' /etc/cloudera-scm-agent/config.ini"

    Step3. 启用 Agent 证书认证

    • 登录 Cloudera Manager Admin Console；
    • 选择 Administration -> Settings；
    • 点击 Security 类目；
    • 配置以下 TLS 属性：
    Use TLS Authentication of Agents to Server = TRUE
    • 点击 Save changes；

    Step4. 重启 Cloudera Server 和 Agents

    sudo /opt/cm-5.8.2/etc/init.d/cloudera-scm-server restart
pssh -h list_agents "sudo /bin/systemctl restart cloudera-scm-agent"

    Step5. 验证加密是否生效

    在 Cloudera Manager Admin Console，打开 Hosts 页面。 如果 Agent 心跳正常，则说明TLS 加密正常工作。

    相关文章

      网友评论

        本文标题：Step by Step 实现基于 Cloudera 5.8.2

        本文链接：https://www.haomeiwen.com/subject/nakswttx.html

        延伸阅读

        深度阅读

        • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

        栏目导航

        热点阅读

        大数据运维及安全

        @IT·互联网

        关于我们|服务条款|联系我们|Step by Step 实现基于 Cloudera 5.8.2|投稿指南|网站地图|RSS订阅|排版工具|手机版

        提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

        Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

        备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

        本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

        所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！