Sqoop往hive中导入导出数据的常用命令

一、导入hive的相关参数

sqoop help import可以拿到这些参数

二、导入数据常用命令

sqoop import \

--connect 'jdbc:mysql://192.168.228.128:3306/ruozedata?autoReconnect=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8' \

--username root \

--password root \

--table sqoop_test \

--mapreduce-job-name mysql2hive \

--columns "name,age,sex" \

--fields-terminated-by '|' \

--null-string '' \

--null-non-string '0' \

--where  'id > 2' \

--target-dir /user/hadoop/sqoop_test_2_hive \

--delete-target-dir \

--hive-database sqoop \

--hive-table sqoop_test_from_mysql \

--hive-import \

-m 1

注意点：

可能出现以下报错信息

错误提示是HIVE_CONF_DIR没有正确设置，但其实是需要将hive目录下的lib目录下的所有jar包加入到环境变量HADOOP_CLASSPATH中去即可解决，参考：https://community.cloudera.com/t5/Support-Questions/Error-with-quot-Make-sure-HIVE-CONF-DIR-is-set-correctly/m-p/37865

[hadoop@hadoop ~]$ echo -e '# HADOOP_CLASSPATH\nexport HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*' >> ~/.bashrc

[hadoop@hadoop ~]$ source ~/.bashrc

没有将hive的lib下的jar包加入到HADOOP_CLASSPATH  中会报这个错

三、导出hive数据到mysql

这个与导出命令一致，参见https://www.jianshu.com/p/ce33543e533c