20180614早课记录31-Sqoop

1.来来来谈谈你们自认为零基础班hive要掌握哪些东西?

编译 搭建 DDL DML 动态分区 静态分区 函数

2.hive的元数据我们存储在哪?数据存储在哪?

MySQL HDFS

3.udf函数临时生效和永久生效会不会?

还没具体做

4.sqoop是mr job?

是mr job

5.我们常用的是sqoop1，那么对比sqoop2，这两者区别

两个不同版本，完全不兼容

6.sqoop导入，可以根据SQL导吗？

可以

7.（拓展题）sqoop如何全量，如何每天增量导数据到hive（这块你们去调研看看 增量）

还需调研

8.提醒各位: sqoop在mysql导入到hive，在生产上，由于数据不可能那么像我们课堂规范，比如数据含有换行符这种的，那么导入到hive是不是会出问题?（默认\t 分割，\n换行符）那么你们觉得我们该怎么办?（拓展题，自己搜搜看看）

不规范可以先清洗