Hadoop安装

hadoop和hbase兼容信息  官方最新版本信息  官方下载推荐信息

推荐地址1  推荐地址2  推荐地址3  官方地址

先决条件：

1.安装ssh服务，因为hadoop的namenode主节点需要能免密登陆到datanode数据节点进行操作

2.设置域名DNS,编辑/etc/hosts文件，设置每台机器的域名和本机localhost，使用自定义域名定位ip时会更快速

3.linux资源设置，ulimit表示最多打开的文件数据，默认1024，建议设置最小10240，nproc表示最大打开进程数，同样设置10240，可通过文件/etc/security/limits.conf设置：

*  soft nofile 10240

*  hard nofile 10240

*  soft noproc 10240

*  hard noproc 10240

4.机器间的时间偏差不超过30s

安装hadoop:

1.下载并解压hadoop程序，各个主机配置hadoop环境变量(4个主机都需要这样操作，用root用户执行)

# vi /etc/profile

export HADOOP_HOME=/app/hadoop/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=/app/hadoop/hadoop-2.7.3/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

# source /etc/profile  #使配置文件生效

2.修改配置，hadoop包含两个核心功能hdfs和mapreduce，启动后为两个进程，因为我们使用hbase只需要用到hdfs，所以mapreduce相关暂不配

3.配置/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME路径

4.修改etc/hadoop/core-site.xml

<configuration>

    <!--配置NN在哪台机器以及它的端口,也可说是HDFS的入口 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node1:9000</value>

    </property>

    <!-- HDFS工作目录的设置,默认是linux的/temp,每次linux重启会清空,hadoop中的数据会全部丢失.-->

    <!-- 其它一些目录是以这个临时目录为基本目录的,如dfs.name.dir和dfs.name.edits.dir等-->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-2.7.3</value>

    </property>

</configuration>

5.修改etc/hadoop/hdfs-site.xml

<configuration>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>/app/hadoop/hadoop-2.7.3/hdf/data</value>

                <final>true</final>           

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>/app/hadoop/hadoop-2.7.3/hdf/name</value>

                <final>true</final>

        </property>

</configuration>

6.配置etc/hadoop/slaves

删除：localhost

添加：hadoop1,hadoop3等datanode节点

7.格式化namenode,在namenode节点执行

cd /app/hadoop/hadoop-2.7.3/sbin

hdfs namenode -format

8.启动

cd /app/hadoop/hadoop-2.7.3/sbin

./start-dfs.sh

9.检查

http://172.16.2.156:50070

http://172.16.2.156:8088/cluster

10.查看状态

使用jps

使用report  /app/hadoop/hadoop-2.7.3/bin/hadoop dfsadmin -report

ps:若需使用mapreduce,需要配置的文件为etc/hadoop/yarn-env.sh，

etc/hadoop/slaves，etc/hadoop/mapred-site.xml，etc/hadoop/yarn-site.xml