hadoop伪分布式

伪分布式 （single node setup）

---------------------------

安装jdk、配置环境变量，测试

免秘钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

hadoop包安装并配置环变：hadoop-2.6.5.tar.gz

查看hostname

/etc/sysconfig/network

Hadoop的第二次JAVA_HOME 环境变量配置

cd /etc/profile

export JAVA_HOME=/usr/local/jdk1.7

export HADOOP_PREFIX=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

source /etc/profile

vi hadoop-env.sh

vi mapred-env.sh

vi yarn-env.sh

配置core-site.xml

vi core-site.xml

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node06:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/var/sxt/hadoop/local</value>

    </property>

配置hdfs-site.xml

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node06:50090</value>

    </property>

配置slaves文件

                 vi slaves node06

格式化hdfs

          hdfs namenode -format  (只能格式化一次，再次启动集群不要执行）

出现输入密码问题

修改/etc/ssh/ssh_config

将其中的# StrictHostKeyChecking ask 改成 StrictHostKeyChecking no

启动集群

         start-dfs.sh

角色进程查看：jps

帮助： hdfs

       hdfs dfs     

查看web UI: IP:50070

     创建目录：hdfs dfs  -mkdir -p  /user/root

     查看目录:  hdfs dfs -ls   /

     上传文件： hdfs dfs -put  hadoop-2.6.5.tar.gz   /user/root                

      停止集群：stop-dfs.sh