美文网首页
HBase-MapReduce案例:统计表中数据,使用MapRe

HBase-MapReduce案例:统计表中数据,使用MapRe

作者: Movle | 来源:发表于2020-05-10 21:22 被阅读0次

HBase的MapReduce任务过程

1.查看HBase的MapReduce任务所需的依赖:
cd /opt/module/hbase-1.3.1

bin/hbase mapredcp
2.执行环境变量的导入
export HBASE_HOME=/opt/module/hbase-1.3.1
export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`
3.运行官方的MapReduce任务

二.案例一:统计default:student表中有多少行数据

cd /opt/module/hbase-1.3.1

/opt/module/hadoop-2.8.4/bin/yan jar lib/hbase-server-1.3.1.jar rowcounter default:student
命令 结果

三.案例二:使用MapReduce将本地数据导入到HBase

(1) 在本地创建一个tsv格式的文件:fruit.tsv,自己建表用\t分割数据

1001    Apple   Red
1002    Pear    Yellow
1003    Pineapple   Yellow

尖叫提示:上面的这个数据不要从word中直接复制,有格式错误
(2) 创建HBase表

hbase(main):001:0> create 'fruit','info'

(3) 在HDFS中创建input_fruit文件夹并上传fruit.tsv文件

hdfs dfs -mkdir /input_fruit/
hdfs dfs -put fruit.tsv /input_fruit/

(4) 执行MapReduce到HBase的fruit表中

/opt/module/hadoop-2.8.4/bin/yarn jar lib/hbase-server-1.3.1.jar importtsv \
-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit \
hdfs://hadoop2:9000/input_fruit
执行

(5) 使用scan命令查看导入后的结果

hbase(main):001:0> scan 'fruit' 
结果

相关文章

网友评论

      本文标题:HBase-MapReduce案例:统计表中数据,使用MapRe

      本文链接:https://www.haomeiwen.com/subject/vedsnhtx.html