HBase集成MapReduce

HBase集成MapReduce配置

HBase与MapReduce集成时是需要jar包的，加载步骤如下：

• 可以通过bin/hbase maperduce命令查看。如图所示，为集成需要的jar包。

[beifeng@hadoop-senior hbase-0.98.6-hadoop2]$ bin/hbase mapredcp

• 设置HBase、Hadoop环境变量

export HADOOP_HOME=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6
export HBASE_HOME=/opt/sofewares/hbase/hbase-0.98.6-hadoop2

HBase集成MapReduce入门

HBase默认集成的一些MapReduce程序，都在hbase-server-0.98.6-haddop2.jar这个包里面。

• cellcounter：统计HBASE表中有多少个cells的个数
• rowcounter：统计hbase中有多少条数据
• 步骤如下：
  1、启动resourcemanager
  2、启动nodemanager
  3、启动historyserver
• 运行rowcounter

HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`  $HADOOP_HOME/bin/yarn jar  $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar rowcounter user

注意HADOOP_CLASSPATH 的值中包含反勾号`。反引号的作用就是将反引号内的Linux命令先执行，然后将执行结果赋予变量

结果： image.png