第4章 Sqoop的简单使用案例
4.1 导入数据
在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。
4.1.1 RDBMS到HDFS
- 确定Mysql服务开启正常
- 在Mysql中新建一张表并插入一些数据
$ mysql -uroot -p000000
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale'); - 导入数据
(1)全部导入
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/company
--username root
--password 000000
--target-dir /user/company
--delete-target-dir
--num-mappers 1
--fields-terminated-by "\t"
--query 'select name,sex from staff where id <=1 and CONDITIONS' in WHERE clause.
如果query后使用的是双引号,则 bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/company
--username root
--password 000000
--target-dir /user/company
--delete-target-dir
--num-mappers 1
--fields-terminated-by "\t"
--columns id,sex
--table staff
提示:columns中如果涉及到多列,用逗号分隔,分隔时不要添加空格
(4)使用sqoop关键字筛选查询导入数据
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/company
--username root
--password 000000
--table staff
--num-mappers 1
--hive-import
--fields-terminated-by "\t"
--hive-overwrite
--hive-table staff_hive
提示:该过程分为两步,第一步将数据导入到HDFS,第二步将导入到HDFS的数据迁移到Hive仓库,第一步默认的临时目录是/user/atguigu/表名
4.1.3 RDBMS到Hbase
bin/sqoop export
--connect jdbc:mysql://hadoop102:3306/company
--username root
--password 000000
--table staff
--num-mappers 1
--export-dir /user/hive/warehouse/staff_hive
--input-fields-terminated-by "\t"
提示:Mysql中如果表不存在,不会自动创建
4.3 脚本打包
使用opt格式的文件打包sqoop命令,然后执行 - 创建一个.opt文件
touch opt/job_HDFS2RDBMS.opt - 编写sqoop脚本
$ vi opt/job_HDFS2RDBMS.opt
export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
000000
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"
- 执行该脚本
$ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt
本教程由尚硅谷教育大数据研究院出品,如需转载请注明来源,欢迎大家关注尚硅谷公众号(atguigu)了解更多。
网友评论