美文网首页
HBase-ImportTsv指定特殊字符作为分隔符

HBase-ImportTsv指定特殊字符作为分隔符

作者: 飞飞幻想 | 来源:发表于2019-11-10 15:01 被阅读0次
# 创建表
create 'ns_test:test',{NAME => 'f',  VERSIONS => '1' , COMPRESSION => 'LZO'},{NUMREGIONS => 3, SPLITALGO => 'HexStringSplit'}

# 创建bulkload数据
for i in $(seq 101 200); do name=`uuidgen`;id=`echo $name | cut -c 1-5`;echo -e "${id}_data\x01${name}"; done > data.txt

# 上传到hdfs
hdfs dfs -rmr /user/hbase/bulkload/clear/input/*
hdfs dfs -put data.txt /user/hbase/bulkload/clear/input
hdfs dfs -ls  /user/hbase/bulkload/clear/input

# 指定特殊分隔符 \x01 防止数据解析异常
hdfs dfs -rmr /user/hbase/bulkload/clear/output
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=`echo -e "\x01"` -Dimporttsv.columns=HBASE_ROW_KEY,f:name -Dimporttsv.bulk.output=/user/hbase/bulkload/clear/output ns_test:test /user/hbase/bulkload/clear/input
hdfs dfs -lsr /user/hbase/bulkload/clear/output

相关文章

  • HBase-ImportTsv指定特殊字符作为分隔符

  • string字符串分割问题

    今天在使用字符串分隔时使用了$分隔符,发现怎么分隔都只有一个字符,原来$是特殊字符串,不能作为分隔符,可以把$使用...

  • Hive不可见字符的处理

    指定查询结果的分隔符 将查询结果放到hdfs目录上,默认的分隔符为不可见字符\001,可以追加参数指定分隔符 Li...

  • python中的split方法的用法

    Pythonsplit()通过指定分隔符对字符串进行切片,如果参数 num 有指定值,则分隔 num+1 个子字符...

  • Bash tips - condition statements

    bash中的特殊字符 注释 ; 分号作为命令行的分隔符 ;; case终止符 . 等价于source " 和 ' ...

  • JS基础之字符转义

    应用场景:文本字符串需要添加特殊字符时。 转义符: \ (与正斜杆 /区分,网络地址都采用 斜杆/ 作为分隔符)...

  • MYSQL-函数

    字符函数 CONCAT() 字符连接 CONCAT_WS() 使用指定的分隔符进行支付连接 format() 数字...

  • Mysql——字符函数

    mysql常用的字符函数 concat() 字符连接。 concat_ws() 使用指定的分隔符进行字符连接。 f...

  • 常用shell

    AWK 多个分隔符 删除文件中包含指定字符串的行 替换指定字符串 截取n到m列 diff 文件差异 字符串截取 $...

  • python方法:split()

    描述:split()通过指定分隔符对字符串进行切片,如果参数num 有指定值,则仅分隔 num 个子字符串 格式:...

网友评论

      本文标题:HBase-ImportTsv指定特殊字符作为分隔符

      本文链接:https://www.haomeiwen.com/subject/jflabctx.html