Hadoop （一） hdfs 伪分布式安装

hadoop 版本：2.6.5

jdk 版本：1.7

系统版本：centos 6.5     

前置条件 ：

1、安装jdk、配置环境变量

2、免秘钥

一、创建目录并安装

1、mkdir -p /opt/zp

2、tar xf hadoop-2.6.5.tar.gz -C /opt/zp/

二、配置环境变量

vi + /etc/profile

录入:

export  JAVA_HOME=/usr/java/jdk1.7.0_67

export  HADOOP_HOME=/opt/zp/hadoop-2.6.5

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后使环境变量生效

. /etc/profile

验证：

start-dfs.sh  TAB是否可以读出

三、配置hadoop配置文件

1、得到javahome

echo $JAVA_HOME

/usr/java/jdk1.7.0_67

2、进入配置文件目录

/opt/zp/hadoop-2.6.5/etc/hadoop

3、修改3个env文件的javahome

hadoop-env.sh

mapred-env.sh

yarn-env.sh

四、配置core-site.xml (角色分配)

#fs.defaultFS  主节点

#hadoop.tmp.dir  临时目录

vi core-site.xml

  <property>

    <name>fs.defaultFS</name> 

    <value>hdfs://node1:9000</value>

  </property> 

  <property>

    <name>hadoop.tmp.dir</name> 

    <value>/var/zp/hadoop/local</value>

  </property>

五、配置hdfs-site.xml 

注：

  replication  副本数

  secondary namenode

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node1:50090</value>

    </property>

六、配置slaves文件

配置从节点

vi slaves node1

七、格式化hdfs

hdfs namenode -format

八、启动集群 以及验证

start-dfs.sh

角色进程查看：jps

帮助： hdfs

          hdfs dfs

查看web UI: IP:50070

创建目录：hdfs dfs  -mkdir -p  /user/root

查看目录:  hdfs dfs -ls  /

上传文件： hdfs dfs -put  hadoop-2.6.5.tar.gz  /user/root

停止集群：stop-dfs.sh