Hadoop环境配置

 编译hadoop的文章:www.cnblogs.com/hanganglin/p/4349919.html

分布式系统

hadoop解决三个问题

海量数据的存储（HDFS）

特点：1.分布式的集群结构

             2.查询，搜索，存储（对外与客户端打交道，对内跟存储节点打交道）

             3.备份（解决服务器挂掉数据丢失的风险）

             4.提供统一的Api

2.海量数据的计算（MapReduce）思想：分而治之

             1.Map（映射）计算

             2.Reduce（聚合）统计计算

             3.管理框架内部的启动，衔接

3.集群资源的管理（YARN）

              1.提供更好的管理集群资源，（分布式的管理）

              2.ResourceManger(统一对外服务的节点)

              3.NodeManger（每个节点当中的管理者）

Hadoop配置

目录

/etc            放置一些配置文件

/sbin          启动的文件目录

环境配置

/hadoop-2.6.4/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_79

/hadoop-2.6.4/etc/hadoop/core-site.xml

/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

/hadoop-2.6.4/etc/hadoop/mapred-site.xml.template 

将上述文件复制一个在更改mapred-site.xml

/hadoop-2.6.4/etc/hadoop/yarn-site.xml

环境变量的配置

export HADOOP_HOME=/usr/local/hadoop-2.6.4

:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

集群的启动

格式化namenode（对namenode进行初始化）

hadoop namenode  -format     

/usr/local/hadoop-2.6.4/temp/dfs/name（默认创建的目录）

启动集群(hdfs)  hadoop-daemon.sh start namenode

                            hadoop-daemon.sh stop namenode

                            hadoop-daemon.sh start datanode

                            hadoop-daemon.sh stop datanode

                            hadoop-daemon.sh start secondarynamenode  

                            hadoop-daemon.sh stop secondarynamenode

可以在浏览器中查看hdfs启动的状态 192.168.255.32:50070

配置可以一键的启动和关闭

修改文件/usr/local/hadoop-2.6.4/etc/hadoop/slaves

添加主机名

启动（dfs）start-dfs.sh

关闭（dfs）stop-dfs.sh

启动集群yarn

（启动yarn集群）start-yarn.sh

（停止yarn集群）stop-yarn.sh

可以在浏览器中查看yarn启动的状态 192.168.255.32:8088