需求描述：
需要从myslq导入数据到大数据平台hbase，但是由于有100多张表，如果一个表一个表导入的话，工作量大。如果写代码的话，需要的时间也比较多。是否可以直接通过sql语句批量生成sqoop语句呢？？
此外，除了数据接入过来之外，还需要做的就是查询，通过phoenix查询，需要创建视图，怎么通过mysql sql语句自动生成创建视图的语句呢？
需要生成的sqoop:
sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://10.3.10.210/webmagic_n --username root --password P@ssw0rd --table weather_warning --columns id,title,district,disaster_type,warning_level,source,publish_time,content,url,update_time,groupname_stamp --hbase-create-table --hbase-table weather_warning --column-family cf --hbase-row-key id --where "update_time >= 2018-06-29" -m 1 --hbase-bulkload
需要生成的phoenix语句：
CREATE VIEW "accident_warning_policy"( id VARCHAR PRIMARY KEY, "cf"."title" VARCHAR,"cf"."policy_type" VARCHAR,"cf"."publish_time" VARCHAR,"cf"."source" VARCHAR, "cf"."content" varchar,"cf"."attachment" VARCHAR, "cf"."url" VARCHAR, "cf"."update_time" VARCHAR);
解决方法：
直接上sql：
生成的sqoop的sql:::
select s.table_schema,s.table_name,
concat('sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://10.3.10.210/webmagic_n --username root --password P@ssw0rd --table '
,s.table_name
,' --columns '
,GROUP_CONCAT(s.column_name)
,' --hbase-create-table --hbase-table '
,s.table_name
,' --column-family cf --hbase-row-key id --where "update_time >= 2018-06-29" -m 1 --hbase-bulkload')
from information_schema.COLUMNS s
left join INFORMATION_SCHEMA.KEY_COLUMN_USAGE b on s.table_schema=b.table_schema and s.table_name =b.table_name
where s.table_schema = 'webmagic_n'
and b.constraint_name='PRIMARY'
GROUP BY s.table_name
生成phoenix的sql:::
select s.table_schema,s.table_name ,b.column_name
, GROUP_CONCAT( case s.column_name when b.column_name then concat(b.column_name,' VARCHAR PRIMARY KEY')
else concat('"cf"."',s.column_name,'" VARCHAR') end)
,concat('CREATE VIEW "',s.table_name,'"( ',GROUP_CONCAT( case s.column_name when b.column_name then concat(b.column_name,' VARCHAR PRIMARY KEY') else concat('"cf"."',s.column_name,'" VARCHAR') end) ,');')
from information_schema.COLUMNS s
left join INFORMATION_SCHEMA.KEY_COLUMN_USAGE b on s.table_schema=b.table_schema and s.table_name =b.table_name
where s.table_schema = 'webmagic_n'
and b.constraint_name='PRIMARY'
and b.TABLE_NAME not in ('base_data_source_02','base_data_source')
GROUP BY s.table_name,b.column_name
如有疑问可以评论回复，谢谢大家！
网友评论