单机搭建伪分布式环境

一、安装Ubuntu

1. 用UltraIso制作Ubuntu启动盘的时候采用RAW模式
2. 和Windows构建双系统，注意制作U盘启动的时候选择UEFI启动
3. 姓名：bingo, 主机名：Master, 用户名：hadoop

二、准备工作

- 创建新用户

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
reboot

(补充：删除用户)
首先切换回主用户，执行如下命令

sudo userdel -r hadoop
reboot

- 安装软件(补充卸载软件：sudo apt-get --purge remove vim)

更新软件源

sudo apt-get update

1. 安装vim

sudo apt-get install vim

2. 安装net-tools

sudo apt-get intstall net-tools

3. 安装ssh

sudo apt-get install openssh-server

• 配置ssh

ssh localhost  #配置hosts (sudo vim /etc/hosts)
exit

cd ~/.ssh
ssh-keygen -t rsa
cat id_rsa.pub > authorized_keys

ssh Master
exit

4. 安装Java

• 下载JDK
• 解压缩文件和重命名

sudo tar -zxf ~/下载/jdk-7u51-linux-x64.tar.gz -C /usr/local
cd /usr/local
sudo mv jdk-7u51-linux-x64 java    #重新命名
sudo chown -R hadoop ./java    #赋予权限

• 配置环境变量(java -version 测试一下)

sudo vim ~/.bashrc

输入

export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH

最后

source ~/.bashrc

5. 安装Hadoop

• 下载Hadoop-CDH
• 解压缩文件和重命名

sudo tar -zxf ~/下载/hadoop-2.6.0-cdh5.15.1.tar.gz -C /usr/local     #解压
cd /usr/local
sudo mv hadoop-2.6.0-cdh5.15.1 hadoop    #重新命名
sudo chown -R hadoop ./hadoop    #赋予权限

• 配置环境变量(java -version 测试一下)

sudo vim ~/.bashrc

输入

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

最后

source ~/.bashrc

• 配置文件

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

输入

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

输入

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

• 格式化文件系统

hdfs namenode -format

• 启动hdfs

start-dfs.sh

• 查看进程

jps