sqoop使用

把mysql数据导入到hive中
使用hive先创建表
安装sqoop

下载解压sqoop
配置sqoop环境变量
进入sqoop的lib中把mysql的驱动包放进去
需要hive得jar 包 hive-exec、hive-common 到sqoop的lib下
sqoop help事帮助文档

语法
sqoop import \
--connect jdbc:mysql://?donTrackOpenResources=true&defaultFetchSize=10000&userCursorFetch=true&useUnicode=yes&characterEncoding=utf8 \
--username root \
--password 123456 \
--table 表 \
--target-dir /hive表路径/ \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by '\t'

～～～donTrackOpenResources defaultFetchSize=10000&userCursorFetch=true 导入大数据防止GC溢出 可以每次抓去之后进行资源回收 一次抓取10000 
--hive-import 导入hive表 但是会是内表
--hive-database 导入hive的hive库
--hive-overwrtie  也可以是--hive-append
--hive-table 导入hive表