美文网首页Hbase
HBase伪分布式环境部署(mac)

HBase伪分布式环境部署(mac)

作者: 飞鸿无痕 | 来源:发表于2018-11-01 14:20 被阅读46次

    最近办公电脑换成了mac,想在mac上部署一下HBase伪分布式环境用于HBase相关成功的调试和开发,折腾了2个小时才能弄个好。一切的原因都是因为java版本的问题,折腾了很久。整理一下安装步骤,方便网友们在本地学习HBase。

    HBase伪分布式环境部署主要分为三步:

    一、java环境的部署

    这一步至关重要,在我的mac环境中,由于一开始java环境没有做好,导致后面非常多的问题,比如:

    执行hbase shell的时候异常:

    执行相关hbase shell命令的报错:

    2018-10-31 23:14:46,845 ERROR [main] client.ConnectionManager$HConnectionImplementation: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.parent'. There could be a mismatch with the one configured in the master

    这些都是java版本安装不正确导致。

    HBase 1.2的版本目前无法支持java9和java10,请安装jdk 1.8的版本,下载链接如下:

    https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

    下载:

    备注:安装完成后,路径在:/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home

    配置环境变量:

    在~/.bash_profile 文件中添加如下内容

    export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home

    export JRE_HOME=$JAVA_HOME/jre

    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

    执行source ~/.bash_profile生效

    二、HDFS环境部署

    在hadoop官网下载hadoop-2.x.tar.gz的版本,按照如下步骤操作:

    1、解压并添加环境变量

    tar xzvf hadoop-2.x.tar.gz -C /usr/local/hadoop

    在~/.bash_profile 文件中添加如下内容

    export HADOOP_HOME=/usr/local/hadoop

    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

    执行source ~/.bash_profile生效

    2、配置

    配置文件配置:

    创建临时目录:mkdir -p /usr/local/hadoop/tmp

    hadoop-env.sh 配置,取消掉下面三行的注释

    export JAVA_HOME=${JAVA_HOME}

    export HADOOP_HEAPSIZE=2000

    export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

    hdfs-site.xml 配置

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/local/hadoop/tmp</value>

    <description>A base for other temporary directories.</description>

    </property>

    <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

    </property>

    <property>

    <name>dfs.replication</name>

    <value>1</value>

    </property>

    配置ssh免密

    ssh-keygen -t rsa

    在终端输入cd .ssh 进入.ssh目录,输入命令。

    cp id_rsa.pub authorized_keys

    验证,在终端输入 ssh localhost 如果能免密登录成功就Ok了。

    3、初始化和启动

         hadoop namenode -format

         cd /usr/local/hadoop/sbin

        ./start-dfs.sh

        使用jps查看对应的namenode和datanode是否起来,如果没有起来则要进入hadoop的log目录查看日志,根据具体的日志来进一步分析。

    4、验证

        通过hadoop的命令看看上传、下载、查看以及展示文件是否正常,如果正常则说明hdfs环境已经搭建好了。

    三、HBase环境部署

    在HBase官网下载1.2的版本,步骤如下:

    1、解压并添加环境变量

    tar xzvf  hbase-1.2.6-bin.tar.gz -C /usr/local/hbase

    在~/.bash_profile 文件中添加如下内容

    export HBASE_HOME=/usr/local/hbase

    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH

    执行source ~/.bash_profile生效

    2、配置HBase

    cd /usr/local/hbase/conf

    hbase-env.sh的配置

    export JAVA_HOME=${JAVA_HOME}

    export HBASE_MANAGES_ZK=true

    备注:如果有需要也可以修改一下内容

    hbase-site.xml配置

    <property>

    <name>hbase.rootdir</name>

    <value>hdfs://localhost:9000/hbase</value>

    </property>

    <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

    </property>

    <property>

    <name>dfs.replication</name>

    <value>1</value>

    </property>

    3、启动HBase和验证

    备注:要先启动了hdfs后再启动HBase

    cd /usr/local/hbase/bin/ && ./start-hbase.sh

    启动后使用jps查看进程启动是否正常

    使用hbase shell常用命令验证HBase工作是否正常,如下图:

    相关文章

      网友评论

        本文标题:HBase伪分布式环境部署(mac)

        本文链接:https://www.haomeiwen.com/subject/uicxxqtx.html