一. 环境准备
1. Linux环境准备
a. 在本机搭建一台Linux虚拟机，建议至少分配4G内存
b. 关闭防火墙
Censten 6关闭方式：
查看防火墙状态
命令：service iptable status
停止firewall
命令：servcie iptables stop
禁止firewall开机启动
命令：chkconfig iptables off
Censten 7关闭方式：
查看防火墙状态
命令：firewall-cmd --state
停止firewall
命令： systemctl stop firewalld.service
禁止firewall开机启动
命令： systemctl disable firewalld.service
c. 关闭selinux
修改/etc/selinux/config 文件，将SELINUX=enforcing改为SELINUX=disabled
d. 配置虚拟机IP， 主机名和DNS
参看地址：配置虚拟机网络
修改网络配置文件命令： vim /etc/sysconfig/network-scripts/ifcfg-eno16777736
DEVICE=eno16777736
BOOTPROTO=static #静态IP的关键
ONBOOT=yes #启动时加载
TYPE=Ethernet
IPADDR=192.168.247.100 #自己设置静态IP，不冲突就可以
NETMASK=255.255.255.0
GATEWAY=192.168.247.2 #在主机配置中看到的默认网关
BROADCAST=192.168.247.255
DNS1=192.168.247.2 #设置和网关一样的值
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
NM_CONTROLLED=yes
NAME=eno16777736
UUID=495d5b2a-7fb5-4c9d-838f-ee9c811a436d
修改主机名命令： vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no #关掉IPv6
HOSTNAME=hbase01.shanhd.com #主机名
GATEWAY=192.168.247.2 #默认网关地址
配置本机DNS:
命令：vim /etc/hosts
192.168.247.100 hbase01.shanhd.com hbase01
命令：vim /etc/resolv.conf
'domain hbase01.shanhd.com'
nameserver 8.8.8.8 #DNS域名解析地址（首选）
192.168.247.2 #（备用）
e. SSH免密码登陆
命令：ssh-keygen -t rsa
命令：ssh-copy-id 192.168.247.100
f. 主机与虚拟机互通，需要设置主机和虚拟机同一个网段（NAT模式）
参考地址：主机IP配置
g. 重启Linux虚拟机
命令：reboot
2. JDK安装
命令： vim /etc/profile
# for java
export JAVA_HOME=/usr/local/bigdata/softwares/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
命令： source /etc/profile
3. Hadoop安装
a. Hadoop版本选择
HADOOP&HBASE
b. 下载配置安装
参考文档： 参考文档地址
下载地址： Hadoop下载地址
解压命令： tar -zxf hadoop-3.1.2.tar.gz -C ../tools/
编辑hadoop-env.sh：
配置JAVA_HOME：
export JAVA_HOME=/usr/local/bigdata/softwares/jdk1.8.0_101
配置权限用户：
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
配置与启动HDFS：
修改core-site.xml文件：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.247.100:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/bigdata/softwares/hadoop-3.1.2/data/tmp</value>
</property>
</configuration>
注意：data目录需要自己在hadoop安装目录中新建
修改hdfs-site.xml文件：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置YARN：
修改yarn-site.xml文件：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
修改mapred-site.xml文件：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
格式化：
命令：bin/hdfs namenode -format
成功结果：
格式化成功
启动HDFS：
命令： sbin/start-dfs.sh
启动成功
查看：http://IP:9870
启动YARN
命令： sbin/start-yarn.sh
启动成功
查看：http://IP:8088
二. HBase安装
配置参考地址：官方文档
1. HBase版本选择
HBase&JDK
2. 下载HBase安装包，下载地址
命令：wget http://mirror.bit.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz
3. 配置hbase.env.sh
export JAVA_HOME=/usr/local/bigdata/softwares/jdk1.8.0_101
4. 配置hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.247.100:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/bigdata/softwares/hadoop-3.1.2/data/zkdata</value>
</property>
</configuration>
5. 启动HBase
命令： bin/start-hbase.sh
启动成功
6. jpa查看
7. 查看HBase启动
通过http://IP:16010在浏览器中打开查看
网友评论