说明:该文章介绍在win10上如何操作
1.安装Hadoop
a.首先下载需要的安装包:
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
https://github.com/s911415/apache-hadoop-3.1.0-winutils/archive/master.zip
b.解压下载文件并进行配置
把hadoop-3.1.3.tar.gz解压到E:\java\hadoop-3.1.3,master.zip解压到E:\java;
修改E:\java\hadoop-3.1.3\etc\hadoop下面的四个配置文件,
添加的时候要注意注释和<configuration>直接不要有换行
core-site.xml中添加:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/E:/hadoop-3.1.3/data/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
mapred-site.xml中添加:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml中添加:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hahoop.mapred.ShuffleHandler</value>
</property>
</configuration>
hdfs-site.xml中添加:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/hadoop-3.1.3/data/namenode</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/E:/hadoop-3.1.3/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/E:/hadoop-3.1.3/data/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/hadoop-3.1.3/data/datanode</value>
</property>
</configuration>
c.替换bin目录下面的文件
默认下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行,打开解压的apache-hadoop-3.1.0-winutils-master文件夹,复制下面的bin目录到E:\java\hadoop-3.1.3\bin,选择替换重名文件。
d.格式化namenode
打开cmd窗口执行命令:hdfs namenode -format
执行成功后界面
e.启动hadoop
启动之前先复制一个文件,把E:\java\hadoop-3.1.3\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.1.3.jar复制到E:\java\hadoop-3.1.3\share\hadoop\yarn;
cmd窗口执行命令:start-all
start-all
执行命令后会弹出四个cmd窗口,接下来我们再验证hadoop是否能够访问。
访问管理页面:http://localhost:8088/cluster
访问health页面:http://localhost:9870/dfshealth.html#tab-overview
至此Hadoop安装完成
2.安装Hbase
a.下载Hbase安装包
下载地址:https://mirror.bit.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz
下载完成后解压文件到E:\java\hbase-2.2.4
修改配置文件:
E:\java\hbase-2.2.4\conf\hbase-env.cmd 添加配置
set HBASE_MANAGES_ZK=true
set JAVA_HOME=E:\java\jre8
set HBASE_CLASSPATH=E:\java\hbase-2.2.4\conf
E:\java\hbase-2.2.4\conf\hbase-site.xml 添加配置
<configuration>
<property>
<name>hbase.master</name>
<value>localhost</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>file:///E:/datacenter/hbdata/root</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>E:/datacenter/hbdata/tmp</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>E:/datacenter/hbdata/zoo</value>
</property>
<!-- 外部ZK此处必须为true,不然hbase仍用自带的zk,若启动了外部的zookeeper,会导致冲突,hbase启动不起来 -->
<property>
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
</configuration>
b.启动Hbase
进入文件夹 :E:\java\hbase-2.2.4\bin
启动Hbase
选中 start-hbase.cmd 以管理员方式运行
start-hbase.cmd
访问:http://localhost:60010/master-status
至此Hbase启动完成
网友评论