前言

HADOOP产生背景

（1）HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

（2）2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。

——分布式文件系统（GFS），可用于处理海量网页的存储

——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。

（3）Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。

HDFS搭建——五步曲

1、HDFS伪分布式搭建步骤：

(1)配置免密登录node01- >node01

①ssh-keygen -t csa

②ssh-copy-id -i ~/.ssh/id rsa.pub root@node1

(2)配置JDK

①export JAVA_ HOME=/opt/software/ jdk/jdk1.8.0_ 151

②export PATH=$PATH:$JAVA_ HOME/bin

(3)修改hdfs-site.xml配置文件

(4)修改core-site.xml配置文件

(5)修改slaves配置文件

修改为node01

(6)格式化NameNode(创建目录以及文件) hdfs namenode -format

(7)启动HDFS start-dfs.sh

(8)操作HDFS文件系统

①创建目录 hdfs dfs -mkdir -p /user/root

②上传文件 hdfs dfs -D dfs.bocksze-104858576 -put

2、HDFS完全分布式搭建步骤：

(1)时间同步

①各个节点安装ntp命令yum install ntp

②上网查找最新的时间服务器 ntp1.aliyun. com

③同步时间ntpdate ntp1.aliyun. com

(2)配置免密登录

node01- >node01 node01- >node02 node01- >node03 node01- >node04

①所有节点执行 ssh-keygen -t rsa -P '' -f ~/ .ssh/id_ rsa

②在node01 节点执行，将node01 的公钥加入到其他节点的白名单中

ssh-copy-id -i ~/ .ssh/id_ rsa. pub root@node01

ssh-copy-id -i ~/ .ssh/id_ rsa. pub root@node02

ssh-copy-id -i ~/ .ssh/id_ rsa. pub root@node03

ssh-copy-id -i ~/ .ssh/id_ rsa. pub root@node04

(3)所有节点配置JDK

(4)修改hdfs-site.xml配置文件

(5)修改core-site. xml配置文件

(6)修改slaves配置文件

修改为node02 node03 node04

将配置好的安装包分发到其他节点上

scp -r hadoop-2.6.5 root@node02: /opt/ software/ hadoop/

(7)将所有的HDFS相关的进程关闭

(8)格式化NameNode(创建目录以及文件)在node01节点执行

①hdfs namenode. - format

(9)启动HDFS start-dfs.sh

(10)操作HDFS文件系统

①创建目录hdfs dfs -mkdir -p /user/root

②上传文件hdfs dfs -D dfs. blocksize=1048576 -put

3、HDFS HA完全分布式搭建步骤:

集群规划:

(1)配置免密登录

node01- >node01 node01- >node02 node01 - >node03 node01 - >node04

node02- >node01

①在node02节点执行，将node01 的公钥加入到其他节点的白名单中ssh-copy-id -i ~/ .ssh/id_

rsa . pub root@node01

(2)所有节点配置JDK

(3)修改hdfs-site.xml配置文件

(4)修改core-site. xml配置文件

(5)修改slaves配置文件

①修改为node02 node03 node04

(6)将配置好的HDFS安装包拷贝到node02 node03 node04

(7)格式化NameNode(创建目录以及文件)

①在node01. node02、 node03 分别执行如下命令

1) hadoop-daemon.sh start journalnode

②随机选择- 台NameNode执行:

1)hdfs amende -format

2) hadoop-daemon.sh start namenode

③另外一台NameNode节点执行:

1) hdfs namenode - bootstrapStandby,

(8) hdfs zkfc -formatZK

(9)关闭所有节点上的进程 stop-dfs. sh

(10)启动 HDFS start-dfs.sh

(11)操作 HDFS文件系统

①创建目录hdfs dfs -mkdir -p /user/root

②上传文件hdfs dfs -D dfs. blocksize=1048576 -put

4.搭建zookeeper集群:

(1)解压

(2)修改conf目录下的z00_ samp1e. CfE的名称,改为zo0.cfg

①mv z00_ samp1e.cfg zo0.Cfg

(3)修改zoo.cfg

①dataDir=/var/zfg/ zookeeper

②server. 1=node02: 2888:3888

③server. 2=node03: 2888:3888

④server. 3=node04: 2888:3888

(4)在dataDic目录下创建一个myxid文件,在这个文件中写上当前节点ID号

(5)将配置好的zookeeper安装包拷贝到node03 node04

(6)拷贝完毕后,在各自节点上创建myid号，ID号要依次递增

5、使用eclipse视图操作HDFS :

(1)配置Hadoop的环境变量

①和配置JDK类似

②备份eclipse ,将hadoop的插件放入eclipse的plugins下

③重启eclipse

结言

听阿里讲完HDFS五部曲确实让小编的触动挺大的，对此大家有何看法可以写在评论区。