Sqoop

sqoop使用：

• 根据脚本执行：sqoop --options-file sqoop.sh

import
--connect
"'jdbc:sqlserver://[url]:[port];DatabaseName=[database];user=[user];password=[password]"
--driver
com.mysql.jdbc.Driver
--query
"SELECT id, name FROM sqoop_test WHERE $CONDITIONS"
--hbase-table
sqoop_table
--column-family
cf1
--hbase-row-key
id
--split-by
id
-m
8

• sqoop运行提示Class Not Found，将需要的jar放到/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/sqoop/lib下面

• 直接命令执行 sqoop import --connect 'jdbc:sqlserver://[url]:[port];DatabaseName=[database];user=[user];password=[password]' --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --query "SELECT id,status,updateTime FROM dbo.discovery WHERE updateTime > '$1' and \$CONDITIONS" --hbase-table discovery --hbase-create-table --column-family cf1 --hbase-row-key id --split-by id -m 8