Hadoop-Sqoop安装

Sqoop简介

算是一个Hadoop和其他数据库存储之间的一个数据传输工具

sqoop的原理

通过shell ，底层会将命令转换成MapReduce程序实现。主要针对InputFormat和OutPutForm

安装

下载地址

http://www.apache.org/dyn/closer.lua/sqoop/1.4.7

如何进行安装

安装步骤：

1.将sqoop压缩包上传到集群某一台机器

2.解压

[root@master Sqoop]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

3.重命名

[root@master Sqoop]# mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7

4修改配置文件sqoop-env.sh 没有需拷贝

[root@master conf]# cp sqoop-env-template.sh  sqoop.env.sh

[root@master conf]# vim sqoop.env.sh

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/opt/apps/Hadoop/hadoop-2.7.6

#Set path to where hadoop-*-core.jar is available

#export HADOOP_MAPRED_HOME=

export HADOOP_COMMON_HOME=/opt/apps/Hadoop/hadoop-2.7.6

#set the path to where bin/hbase is available

#export HBASE_HOME=

#Set the path to where bin/hive is available

export HIVE_HOME=/opt/apps/Hive/hive-2.3.3

5.拷贝mysql驱动到sqoop的lib下

mysql-connector-java-5.1.46-bin

可以下载：

https://pan.baidu.com/s/1VD6Qc7qt567BVLX-YUEdew

6.配置环境变量

[root@master lib]# vim /etc/profile

export SQOOP_HOME=/opt/apps/Sqoop/sqoop-1.4.7

export PATH=$PATH:$SQOOP_HOME/bin

设置立即生效

[root@master lib]# source /etc/profile

检测是否成功，出现版本信息成功

[root@master lib]# sqoop version

Sqoop 1.4.7

git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8

Compiled by maugli on Thu Dec 21 15:59:58 STD 2017

简单验证sqoop是否能连接mysql

[root@master lib]# sqoop list-databases --connect jdbc:mysql:/// --username root --password 123456

ification.

information_schema

metastore

mysql

performance_schema

sys

注释：--connect   连接地址  mysql:/// 表本地：3306