美文网首页
HBase-MapReduce案例:统计表中数据,使用MapRe

HBase-MapReduce案例:统计表中数据,使用MapRe

作者: Movle | 来源:发表于2020-05-10 21:22 被阅读0次

    HBase的MapReduce任务过程

    1.查看HBase的MapReduce任务所需的依赖:
    cd /opt/module/hbase-1.3.1
    
    bin/hbase mapredcp
    
    2.执行环境变量的导入
    export HBASE_HOME=/opt/module/hbase-1.3.1
    export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`
    
    3.运行官方的MapReduce任务

    二.案例一:统计default:student表中有多少行数据

    cd /opt/module/hbase-1.3.1
    
    /opt/module/hadoop-2.8.4/bin/yan jar lib/hbase-server-1.3.1.jar rowcounter default:student
    
    命令 结果

    三.案例二:使用MapReduce将本地数据导入到HBase

    (1) 在本地创建一个tsv格式的文件:fruit.tsv,自己建表用\t分割数据

    1001    Apple   Red
    1002    Pear    Yellow
    1003    Pineapple   Yellow
    

    尖叫提示:上面的这个数据不要从word中直接复制,有格式错误
    (2) 创建HBase表

    hbase(main):001:0> create 'fruit','info'
    

    (3) 在HDFS中创建input_fruit文件夹并上传fruit.tsv文件

    hdfs dfs -mkdir /input_fruit/
    hdfs dfs -put fruit.tsv /input_fruit/
    

    (4) 执行MapReduce到HBase的fruit表中

    /opt/module/hadoop-2.8.4/bin/yarn jar lib/hbase-server-1.3.1.jar importtsv \
    -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit \
    hdfs://hadoop2:9000/input_fruit
    
    执行

    (5) 使用scan命令查看导入后的结果

    hbase(main):001:0> scan 'fruit' 
    
    结果

    相关文章

      网友评论

          本文标题:HBase-MapReduce案例:统计表中数据,使用MapRe

          本文链接:https://www.haomeiwen.com/subject/vedsnhtx.html