美文网首页
sqoop命令

sqoop命令

作者: aaron1993 | 来源:发表于2017-06-20 23:19 被阅读0次

本文是基于hive-1.4.6文档

sqoop从rdbms导数据到hdfs

  1. 连接数据库
    sqoop import --connect jdbc:mysql://database_host/database_name
    使用用户名和密码连接
    sqoop import --connect jdbc:mysql://database_host/database_name --username my_name --password mypassword
  2. 选择要导入的数据,包括导入的表,要导入的列
    --table table_name指定要导入的表。默认情况下会选择表中的所有列。
    --columns "col1,col2,...,",选择要导入的列。
    --where condition 选择满足condition的行导入。
  3. 也可以指定一个查询语句,以这个查询语句的结果作为导入的数据:
    --query 'select xxx from xxx where $CONDITION'
    where $CONDITION不是必须的,除非当需要sqoop并行的导入查询语句的结果时,sqoop会根据--split-by指定的列分区,然后将$CONDITION 替换为分区条件。
    使用了where $CONDITION就意味着必须使用--split-by
  4. 并行导入
    sqoop通过运行map-reduce完成数据导入,sqoop需要知道:1. 如何划分mr任务(即没个任务负责导入哪些数据,);2. 任务并行度.
    • -m num_map 指定任务并行度为num_map,也就是map任务的个数
    • --split-by col_name, 划分mr任务,当指定--split-by时,sqoop会运行select min(col_name), max(col_name) from <table name>来确定col_name范围,返回根据-m选项值平均划分这个范围,作为每个mr任务负责数据范围,
    • 没有指定--split-by时,会根据主键划分
    • 没有主键又没有--split-by时,任务就不能并行的运行,此时必须指定-m 1或者--autoreset-to-one-mapper只运行一个map任务。
  5. 控制从rdbms导入数据时事务隔离级别
    sqoop导入数据应该是通过查询语句从rdbms中获取数据,默认的隔离级别是read-commit, 通过--relaxed-isolation将隔离级别降至read-uncommited.
  6. 设置输出行格式
    sqoop从rdbms导入然后输出到hdfs上普通的text文件时,总是需要特定分隔符确定rdbms中的一行,以及分隔符确定列。mysql默认是'\n'分割行,','分割列。这种分割方式在数据库列中存在'\n'或者','时会出错。
    通过如下选项避免:
    • --enclosed-by <char> 用来包围列的,比如:
    // 假设下面字符串是数据库表中三列,用|隔开每列
    this is a test, must be in one column | 1 | test
    // --enclosed-by '"',用引号包围每列,假设输出hdfs文件以,分割列
    "this is a test, must be in one column", "1", "test"
  • --escaped-by <char>
    配合上面的一起用,如果列中有字符和enclosed-by指定的一样,使用es
    caped-by,比如:
  // 假设下面字符串是数据库表中三列,用|隔开每列
   this is a test ", must be in one column   |  1  |  test 
 // --enclosed-by '\"' --escaped-by '\\',用引号包围每列,假设输出hdfs文件以,分割列
  "this is a test \", must be in one column", "1", "test"
   ```
- --fields-terminated-by <char>
 指定域分割符,也就是输出到hdfs text文件时分割用的,默认 ','
- --lines-terminated-by <char>
  行分割符,rdbms中一行对应到hdfs text文件中一行,指定行分割符,默认'\n'

## 增量导入
 增量导入有两种模式:1. 导入新加到数据库中的数据;2. 导入修改的数据。
 无论哪种模式都需一个比较基准判断什么数据是新加的(比如大于某个id的都是新加的),或者什么数据是修改的(大于某个时间都是新修改的)。
- `--check-column col` 用于判断的列,检查这个列的值并和基准比较判断是否要被增量导入。
-  `--incremental mode` mode可选:1. append, 只导入新加的数据;2. lastmodified,导入更新的数据。
-  `--last-value`,判断基准,对于append,它可能是整型的id值,大于该id的导入,对于lasmodified它可能是时间戳。

##sqoop从rdbms导入到hive
1. 使用`sqoop import  --hive-import ...`
     目标hive表的名字默认和--table中名字一样。
2. `--hive-overwrite`会在目标hive存在是丢弃其中所有数据。
3. `--create-hive-table `会在目标hive不存在是创建,存在会抛异常
4. `--hive-home path/to/your/hive_home`sqoop会创建hive表,设置hive home,sqoop会使用HIVE_HOME/bin/hive命令
5. 当hive使用文本格式存储数据时,默认的行分隔符为'\n\r', field(也就是列)分隔符是'\01'(vim里ctrl + A) 。如果数据库表中列数据中包含这些hive默认分割符,显然存储的数据在hive解析时会出错。
  - --hive-drop-import-delims , 用于import时丢弃rdbms中这个字段丢弃。
  -  --hive-delims-replacement, 用于import时将rdbms中这些分隔符字段替换成另外的。
6. 关与数据库中的列为NULL的字段,默认sqoop会使用字符串"null"表示,而HIVE中NULL使用\N表示,显然使用HIVE SQL ‘is null‘判断会出错。
  - --null-string '\\N', 用于import时将rdbms中的NULL替换成HIVE使用的'\\N', 这个选项用于rdbms中的string类型的列。
  -  --null-non-string '\\N',和上面作用一样,设置非string列
  -  --input-null-string,--input-null-non-string,用于从hdfs导出到rdbms时,设置rdbms的null值
7. --hive-partition-key par-key,--hive-partition-value par-value,将数据导到指定的HIVE表分区, hive-partition-key设置成hive表的分区列,hive-partition-value设置成该列的值。sqoop应该会运行:
    `load data inpath hdfs_path into table table_name partition(par-key=par-value)`

相关文章

网友评论

      本文标题:sqoop命令

      本文链接:https://www.haomeiwen.com/subject/pkoaqxtx.html