如何在 Hue 3.10 中提交 Sqoop1 作业？

前言

本来认为这块是很简单的事儿，不想单独记录下来，恐怖的是花了2小时时间才调通（之前踩过的坑又踩了一遍），所以想下还是用简书记录下来罢。

为什么使用 Sqoop1 而不是 Sqoop2？

这个，很尴尬，Hue 3.10 + Sqoop2 + SSL 一直没有调通，Sqoop Transfer 界面一直报：Sqoop error: Could not get connectors，避免耽误进度，所以没有使用。

准备工作

有两块需要注意，一个是 Mysql Connector Jar 需要在 Oozie / Sqoop 的对应库目录下存在，一个是 Yarn 相关的内存资源配置，否则提交任务后会一直进行 heartbeat。

A. Mysql Connector Jar 部署

如 Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - 基础部署 一文所述，我们在部署 Oozie 服务的时候已经涉及部分：

pssh -h list_agents "sudo mkdir -p /opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/lib/hive/lib/ /opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/lib/oozie/lib/ /var/lib/oozie" 

pssh -h list_agents "sudo cp /tmp/mysql-connector-java-5.1.34.jar /opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/lib/oozie/lib/" 

pssh -h list_agents "sudo cp /tmp/mysql-connector-java-5.1.34.jar /var/lib/oozie"

我们还需要在另外几个目录进行部署：

pssh -h list_agents "sudo cp /tmp/mysql-connector-java-5.1.34.jar /home/opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/lib/oozie/libtools"

pssh -h list_agents "sudo cp /tmp/mysql-connector-java-5.1.34.jar /var/lib/oozie/mysql-connector-java-5.1.34.jar"

pssh -h list_agents "sudo cp /tmp/mysql-connector-java-5.1.34.jar /home/opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/lib/sqoop/lib"

pssh -h list_agents "sudo cp /tmp/mysql-connector-java-5.1.34.jar /var/lib/sqoop"

另外也需要在 HDFS 的 Oozie sharlib 目录下存在该 jar，其中 TIMESTAMP 是 Oozie 启动时的时间戳(Date 格式)，一般类似 20170318104137：

hadoop fs -put mysql-connector-java-5.1.34.jar /user/oozie/share/lib/lib_${TIMESTAMP}/sqoop/

最后我们需要重启 Sqoop 。

B. 合理配置 YARN 内存

如果对以下配置不进行合理配置（比如使用 Cloudera 的默认配置），会出现 issue: https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-sqoop-action-in-CDH-5-2-Heart-beat-issue/td-p/22181，所以我们需要修改并且加大它们：

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>4096</value>
  </property>

这块不需要手动修改配置文件，可以在 Cloudera Manager Web Console -> Cluster -> YARN -> Configuration 中设置。

修改完上述配置后，我们需要重启 YARN。

操作步骤

我们先抛开之前部署的 Kerberos + SSL 来说，不考虑这几个安全组件，怎么在基础裸集群内 run 起来 Sqoop1 作业。和从冰箱拿香蕉一样，开冰箱 -> 拿香蕉 -> 关冰箱，真的只要 3 步。

Step1. 建立测试用数据库

创建 MySQL 的步骤这里不阐述，各个网站随便搜，注意 CentOS 7.2 默认是 MariaDB，请参考类似文档。

Step2. 创建测试工作流

打开 Hue 的 Web 界面，进入 Workflows -> Editors -> Workflows ，点击 Create 按钮。从上方的标签中选择 Sqoop1 拖入 Drop your action here 的位置，在 Sqoop command 中输入：

import  --connect jdbc:mysql://${MYSQL_HOSTNAME}:${MYSQL_PORT}/${DN_NAME} --table ${TABLE_NAME} --target-dir hdfs://${NAMENODE_HOSTNAME}:${NAMENODE_PORT}/${PATH_TARGET} -m 1 --username ${USERNAME} --password ${PASSWORD}

命令中的变量请自行替换。完成后保存，点击 Save 按钮 。

Step3. 启动工作流

点击 Submit 按钮，提交作业。

注意： target-dir 必须本身不存在，否则会报错。

小结

本文介绍了如何在 Hue 3.10 中提交 Sqoop1 作业，以及如何避免常见问题。