linux hadoop 伪分布式部署

单机部署 进程没有

伪分布式部署 进程存在+1节点  开发

集群部署    进程存在+n节点  开发/生产

1、解压编译过的hadoop压缩包，（告诉大家一个秘密，通常文件名带src的是源码，不带src或者带bin的是编译过得），我这里使用的是hadoop-2.8.1.tar.gz

tar -zxvf  hadoop-2.8.1.tar.gz

2、解压后的目录

bin 执行命令的shell

etc 配置文件

lib 库

sbin 启动和关闭hadoop

share jar

3、配置环境变量

vi  /etc/profile

source /etc/profile

which hadoop看一下配置的环境变量有没有生效

已生效

4、配置文件 core-site.xml

\

core-site.xml文件

fs.defaultFS是hdfs的地址，

hdfs-site.xml文件

dfs.replication是hdfs的副本数量，因为是伪分布式只有1台服务器，所以只有1个副本。

5、ssh无密码登录

命令框输入：ssh-keygen，一直回车

安装完成；

id_rsa是私钥，id_rsa.pub是公钥，将公钥写入到授权库中，即可实现ssh无密码登录，

cat id_rsa.pub >> authorized_keys；

已经可以无密码登录，使用exit退出

6、格式化hdfs节点

        bin/hdfs namenode -format；

        将hdfs存储区域，格式化为hdfs需要用的文件格式；

JAVA_HOME找不到我们配置一下，

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64

7、启动服务

sbin/start-dfs.sh

输入jps命令：

部署成功！！！！！