原创|Linux|Inst Sqoop

一、 概述

sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。

导入数据：将关系型结构化数据如MySQL，oracle数据导入到hadoop的hdfs、hive、hbase的数据存储系统。

导出数据：从hadoop的文件系统中导出数据到关系型数据库。

image

二、工作机制

将导入导出命令解析成MapReduce程序来实现，解析出的MapReduce中主要是对inputformat和outputformat进行定制。

三、sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境。

1 、下载并解压

地址：https://sqoop.apache.org/

2、修改配置文件

vi /etc/profile

source /etc/profile  #刷新配置

cd
cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
# 打开sqoop-env.sh并编辑下面几行：
export HADOOP_COMMON_HOME=/opt/hadoop-3.1.2  #hadoop位置
export HADOOP_MAPRED_HOME=/opt/hadoop-3.1.2

3 下载mysql-connector-java并放置

网址：https://dev.mysql.com/downloads/connector/j/

下载到windows解压，把mysql-connector-java-8.0.15.jar放到 /opt/sqoop-1.4.7/lib  #sqoop位置

4、验证启动

cd
sqoop version #显示版本号即成功

参考：https://www.jianshu.com/p/ee721f804724