1、使用datax抽取的时候源端和目的端都要是主节点,有报错提示权限不足的时候可以查看下
2、hive中默认的分隔符和sqoop默认的分隔符不一致,所以一定要写分隔符,当出现大量的脏数据或者列月结的时候可以查看下分隔符,切记hive建表的时候不要用花里胡哨的分隔符
3、记得DATAX尽量在columns中少用*
4、sqoop中在export的时候。。。。。好像是不支持where condition的用法。。。待定待定
1、使用datax抽取的时候源端和目的端都要是主节点,有报错提示权限不足的时候可以查看下
2、hive中默认的分隔符和sqoop默认的分隔符不一致,所以一定要写分隔符,当出现大量的脏数据或者列月结的时候可以查看下分隔符,切记hive建表的时候不要用花里胡哨的分隔符
3、记得DATAX尽量在columns中少用*
4、sqoop中在export的时候。。。。。好像是不支持where condition的用法。。。待定待定
本文标题:2019-07-06工作小结
本文链接:https://www.haomeiwen.com/subject/fipphctx.html
网友评论