美文网首页
java使用Hadoop、Spark、Hbase、TensorF

java使用Hadoop、Spark、Hbase、TensorF

作者: zgljs | 来源:发表于2020-07-21 16:51 被阅读0次

    说明:该文章介绍在win10上如何操作

    1.安装Hadoop

    a.首先下载需要的安装包:

    https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
    https://github.com/s911415/apache-hadoop-3.1.0-winutils/archive/master.zip

    b.解压下载文件并进行配置

    把hadoop-3.1.3.tar.gz解压到E:\java\hadoop-3.1.3,master.zip解压到E:\java;
    修改E:\java\hadoop-3.1.3\etc\hadoop下面的四个配置文件,
    添加的时候要注意注释和<configuration>直接不要有换行
    core-site.xml中添加:

    <configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:8020</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/E:/hadoop-3.1.3/data/tmp</value>
        </property>
        <property>
            <name>fs.trash.interval</name>
            <value>1440</value>
        </property>
    </configuration>
    

    mapred-site.xml中添加:

    <configuration>
      <property>
            <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
    </configuration>
    

    yarn-site.xml中添加:

    <configuration>
    <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
    <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
    </configuration>
    

    hdfs-site.xml中添加:

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/E:/hadoop-3.1.3/data/namenode</value>
      </property>
      <property>
    <name>fs.checkpoint.dir</name>
    <value>/E:/hadoop-3.1.3/data/snn</value>
    </property>
    <property>
    <name>fs.checkpoint.edits.dir</name>
    <value>/E:/hadoop-3.1.3/data/snn</value>
    </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/E:/hadoop-3.1.3/data/datanode</value>
      </property>
    </configuration>
    
    c.替换bin目录下面的文件

    默认下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行,打开解压的apache-hadoop-3.1.0-winutils-master文件夹,复制下面的bin目录到E:\java\hadoop-3.1.3\bin,选择替换重名文件。

    d.格式化namenode

    打开cmd窗口执行命令:hdfs namenode -format


    执行成功后界面
    e.启动hadoop

    启动之前先复制一个文件,把E:\java\hadoop-3.1.3\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.1.3.jar复制到E:\java\hadoop-3.1.3\share\hadoop\yarn;

    cmd窗口执行命令:start-all


    start-all

    执行命令后会弹出四个cmd窗口,接下来我们再验证hadoop是否能够访问。
    访问管理页面:http://localhost:8088/cluster

    http://localhost:8088/cluster

    访问health页面:http://localhost:9870/dfshealth.html#tab-overview

    http://localhost:9870/dfshealth.html#tab-overview
    至此Hadoop安装完成

    2.安装Hbase

    a.下载Hbase安装包

    下载地址:https://mirror.bit.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz
    下载完成后解压文件到E:\java\hbase-2.2.4
    修改配置文件:
    E:\java\hbase-2.2.4\conf\hbase-env.cmd 添加配置

    set HBASE_MANAGES_ZK=true
    set JAVA_HOME=E:\java\jre8
    set HBASE_CLASSPATH=E:\java\hbase-2.2.4\conf
    

    E:\java\hbase-2.2.4\conf\hbase-site.xml 添加配置

    <configuration>
        <property>
    <name>hbase.master</name>
    <value>localhost</value>
        </property>
        <property> 
            <name>hbase.rootdir</name> 
            <value>file:///E:/datacenter/hbdata/root</value> 
        </property> 
        <property> 
            <name>hbase.tmp.dir</name> 
            <value>E:/datacenter/hbdata/tmp</value> 
        </property> 
        <property> 
            <name>hbase.zookeeper.quorum</name> 
            <value>localhost</value>
        </property> 
        <property> 
            <name>hbase.zookeeper.property.dataDir</name> 
            <value>E:/datacenter/hbdata/zoo</value> 
        </property>
        <!-- 外部ZK此处必须为true,不然hbase仍用自带的zk,若启动了外部的zookeeper,会导致冲突,hbase启动不起来 -->
        <property> 
            <name>hbase.cluster.distributed</name> 
            <value>false</value> 
        </property>
        <property>
        <name>hbase.master.info.port</name>
        <value>60010</value>
        </property>
    </configuration>
    

    b.启动Hbase

    进入文件夹 :E:\java\hbase-2.2.4\bin


    启动Hbase

    选中 start-hbase.cmd 以管理员方式运行


    start-hbase.cmd

    访问:http://localhost:60010/master-status

    http://localhost:60010/master-status

    至此Hbase启动完成

    相关文章

      网友评论

          本文标题:java使用Hadoop、Spark、Hbase、TensorF

          本文链接:https://www.haomeiwen.com/subject/dmtwkktx.html