美文网首页
使用importtsv导入CSV数据到HBase

使用importtsv导入CSV数据到HBase

作者: 峰峰仔 | 来源:发表于2019-01-11 10:11 被阅读0次

    CSV数据如下:

    id first_name last_name
    1 shen teng
    2 ma dongmei

    创建HBase表

    1. 登录到服务器

    ssh root@xxx.xxx.xxx.xxx

    1. 切换到hbase用户

    root> su - hbase

    1. 进入到Hbase Shell

    hbase> hbase shell

    1. 创建表

    hbase(main):001:0> create 'test_hbase', 'temp'

    1. 确认表是否创建成功

    hbase(main):001.0> list

    执行exit退出Hbase Shell

    加载数据

    放CSV数据到HDFS上

    1. 首先通过scp命令上传到集群上

    snow>scp hbase.csv root@xxx.xxx.xxx.xxx:/home/hbase

    1. 放CSV数据到HDFS上

    hbase> hdfs dfs -copyFromLocal hbase.csv /tmp

    1. 执行impporttsv命令加载数据到hbase表中

    hbase> hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.columns="HBASE_ROW_KEY,temp.first_name,temp.last_name" test_hbase /tmp/hbase.csv

    1. 确认数据是否加载成功

    hbase(main):001:0> scan 'test_hbase'


    注意:

    • Importtsv命令会产生大量的日志,确保有足够的空间在/var/logs目录下,最好能够挂载到单个的目录下。

    相关文章

      网友评论

          本文标题:使用importtsv导入CSV数据到HBase

          本文链接:https://www.haomeiwen.com/subject/ytmtdqtx.html