Sqoop基础 （一）介绍与安装

简介

Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工

具。来自于 Apache 软件基金会提供。 Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻

译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。 Hadoop 生态系统包括：HDFS、Hive、Hbase 等 RDBMS 体系包括：Mysql、Oracle、DB2 等

Sqoop 可以理解为：“SQL 到 Hadoop 和 Hadoop 到 SQL”。

image

站在 Apache 立场看待数据流转问题，可以分为数据的导入导出:

Import：数据导入。RDBMS----->Hadoop

Export：数据导出。Hadoop---->RDBMS

安装

安装 sqoop 的前提是已经具备 java 和 hadoop 的环境。

最新稳定版： 1.4.6 配置文件修改：

#step1
cd /export/servers/sqoop/conf

#step2
mv sqoop-env-template.sh sqoop-env.sh

#step3
vi sqoop-env.sh

export HADOOP_COMMON_HOME= /export/servers/hadoop-2.7.5 
export HADOOP_MAPRED_HOME= /export/servers/hadoop-2.7.5 
export HIVE_HOME= /export/servers/hive

#step4 加入mysql的驱动包
cp /hive/lib/mysql-connector-java-5.1.32.jar /export/servers/sqoop/lib/

#step5 加入json-java jar包
cp /export/softwares/java-json.jar /export/servers/sqoop/lib/

#step6 加入hive-common-2.3.3.jar包到lib
cp /export/servers/hive/lib/java-json.jar /export/servers/sqoop/lib/

注意，sqoop必须装载到安装了mysql的服务器节点上

验证启动

bin/sqoop list-databases \
--connect jdbc:mysql://localhost:3306/ \
--username root --password 密码

如果成功显示你机器上的数据库则表示成功。

Xnip2020-06-19_10-46-26