hadoop和hbase兼容信息 官方最新版本信息 官方下载推荐信息
先决条件：
1.安装ssh服务，因为hadoop的namenode主节点需要能免密登陆到datanode数据节点进行操作
2.设置域名DNS,编辑/etc/hosts文件，设置每台机器的域名和本机localhost，使用自定义域名定位ip时会更快速
3.linux资源设置，ulimit表示最多打开的文件数据，默认1024，建议设置最小10240，nproc表示最大打开进程数，同样设置10240，可通过文件/etc/security/limits.conf设置：
* soft nofile 10240
* hard nofile 10240
* soft noproc 10240
* hard noproc 10240
4.机器间的时间偏差不超过30s
安装hadoop:
1.下载并解压hadoop程序，各个主机配置hadoop环境变量(4个主机都需要这样操作，用root用户执行)
# vi /etc/profile
export HADOOP_HOME=/app/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=/app/hadoop/hadoop-2.7.3/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
# source /etc/profile #使配置文件生效
2.修改配置，hadoop包含两个核心功能hdfs和mapreduce，启动后为两个进程，因为我们使用hbase只需要用到hdfs，所以mapreduce相关暂不配
3.配置/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME路径
4.修改etc/hadoop/core-site.xml
<configuration>
<!--配置NN在哪台机器以及它的端口,也可说是HDFS的入口 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!-- HDFS工作目录的设置,默认是linux的/temp,每次linux重启会清空,hadoop中的数据会全部丢失.-->
<!-- 其它一些目录是以这个临时目录为基本目录的,如dfs.name.dir和dfs.name.edits.dir等-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.3</value>
</property>
</configuration>
5.修改etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/app/hadoop/hadoop-2.7.3/hdf/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/app/hadoop/hadoop-2.7.3/hdf/name</value>
<final>true</final>
</property>
</configuration>
6.配置etc/hadoop/slaves
删除：localhost
添加：hadoop1,hadoop3等datanode节点
7.格式化namenode,在namenode节点执行
cd /app/hadoop/hadoop-2.7.3/sbin
hdfs namenode -format
8.启动
cd /app/hadoop/hadoop-2.7.3/sbin
./start-dfs.sh
9.检查
http://172.16.2.156:50070
http://172.16.2.156:8088/cluster
10.查看状态
使用jps
使用report /app/hadoop/hadoop-2.7.3/bin/hadoop dfsadmin -report
网友评论