双

虚拟机系统

Ubuntu版本：ubuntu-14.04.5-server-amd64.iso;

Hadoop集群的安装配置流程

1、选定一台机器作为master;
2、在master节点上配置hadoop用户、安装SSH server、安装Java环境;
3、在master节点上安装Hadoop,并完成配置;
4、在其他slave节点上配置hadoop用户、安装 SSH server、安装Java环境;
5、将master节点上的"/usr/local/tools/hadoop"目录复制到其他slave节点上;
6、在master节点上开启Hadoop;

虚拟机基础环境配置，教程点我；
需要在所有节点上完成基础环境配置；

集群节点规划

主机名	IP地址
master	192.168.10.60
slave1	192.168.10.61
slave2	192.168.10.62

验证操作

ping -c 4 主机名
# eg：测试各虚拟机是否能通过主机名连接
ping -c 4 slave1

SSH免密登录节点

# 这个操作是要让 master 节点可以无密码 SSH 登陆到各个slave节点上;
# 首先在master节点生成密钥对(每次更改主机名后,都要重新生成);

# hadoop用户
## 各命令的含义请参阅伪分布式
sudo rm -rf ~/.ssh
ssh localhost
cd ~/.ssh
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
# 验证操作
ssh localhost

# 接着在master节点将上公匙传输到其他slave节点
sudo scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/
sudo scp ~/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/
# scp是secure copy的简写,用于在Linux下进行远程拷贝文件，
# 类似于cp命令,不过cp只能在本机中拷贝;
# 执行scp时会要求输入Slave上 hadoop用户的密码,输入完成后会提示传输完毕;

# 接着在Slave节点上,将ssh公匙加入授权
## 不存在则创建.ssh目录
mkdir ~/.ssh
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub
# 验证操作(在Master节点)
ssh slave1

安装 Hadoop2.7.3

# 获取hadoop-2.7.3.tar.gz到当前目录
## 也可以通过Xftp上传到虚拟机
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

# 我们将"Hadoop"安装至"/usr/local/tools/"中
sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/tools/

# 切换到安装目录
cd /usr/local/tools/

# 将文件夹名改为hadoop
sudo mv ./hadoop-2.7.3/ ./hadoop/

# 修改文件权限
sudo chown -R hadoop ./hadoop/

# 验证操作
cd /usr/local/tools/hadoop

# 由于hadoop直接解压即可使用,输出hadoop版本信息
./bin/hadoop version

Hadoop环境变量配置

配置profile

sudo vim /etc/profile

# Java
...
# Hadoop
export HADOOP_HOME=/usr/local/tools/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib:$PATH

配置hadoop-env.sh

# Oracle-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/local/tools/jdk1.7

# Open-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

另外，还可以使用sed命令修改
# Oracle-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/local/tools/jdk1.7#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh
# Open-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

# 重新加载配置文件
source /etc/profile
source /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

配置集群/分布式环境

# 集群/分布式模式需要修改"/usr/local/tools/hadoop/etc/hadoop"中的5个配置文件,
# 更多设置项可点击查看官方说明,这里仅设置了正常启动所必须的设置项：
# 1、slaves;
# 2、core-site.xml;
# 3、hdfs-site.xml;
# 4、mapred-site.xml;
# 5、yarn-site.xml;

# 1、slaves
# 将作为DataNode的主机名写入该文件,每行一个,默认为 localhost,
# 所以在伪分布式配置时,master节点即作为NameNode也作为DataNode;
# 分布式配置可以保留localhost,也可以删掉,让master节点仅作为NameNode使用;
vim /usr/local/tools/hadoop/etc/hadoop/slaves

# 文件内容
master
slave1
slave2

# 2、配置core-site.xml文件
vim /usr/local/tools/hadoop/etc/hadoop/core-site.xml 

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/tools/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

# 3、配置hdfs-site.xml文件
vim /usr/local/tools/hadoop/etc/hadoop/hdfs-site.xml
# 参数项详解：
## dfs.replication：hdfs数据块的复制份数,默认3,如果是单个Slave节点,可以修改为1,
## 理论上份数越多跑数速度越快,但是需要的存储空间也更多,有钱人可以调5或者6;

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/tools/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/tools/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

# 4、配置mapred-site.xml文件
# 可能需要先重命名,默认文件名为mapred-site.xml.template
mv /usr/local/tools/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/tools/hadoop/etc/hadoop/mapred-site.xml

vim /usr/local/tools/hadoop/etc/hadoop/mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

# 5、配置yarn-site.xml文件
vim /usr/local/tools/hadoop/etc/hadoop/yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

分发hadoop

# 配置好后,将Master上的"/usr/local/tools/hadoop"文件夹复制到各个节点上,
# 因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件;
# 在Master节点上执行：
cd /usr/local/tools/
# 删除hadoop临时文件
sudo rm -r ./hadoop/tmp
# 删除日志文件
sudo rm -r ./hadoop/logs/*
# 先打包压缩再复制
sudo tar -zcvf ~/hadoop.master.tar.gz ./hadoop 
cd ~
sudo scp ./hadoop.master.tar.gz Slave1:/home/hadoop
sudo scp ./hadoop.master.tar.gz Slave2:/home/hadoop

# 在Slave节点上执行：
## 删掉旧的(如果存在)
sudo rm -r /usr/local/tools/hadoop
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local/tools
sudo chown -R hadoop /usr/local/tools/hadoop

启动Hadoop

# 首次运行需要执行初始化,之后则不需要
hdfs namenode -format
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
# 通过jps命令,查看各个节点所启动的进程情况
# Master：NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer;
# Slave节点DataNode和NodeManager;
# 在Master节点查看DataNode是否正常启动
hdfs dfsadmin -report
# Live datanodes：正在运行的DataNode

# 访问"Web"界面
## 注意修改虚拟机IP地址
http://192.168.10.60:50070/

执行分布式实例

hdfs dfs -mkdir -p /user/hadoop

# 将"/usr/local/tools/hadoop/etc/hadoop"中的配置文件作为输入文件复制到分布式文件系统中：
hdfs dfs -mkdir input
hdfs dfs -put /usr/local/tools/hadoop/etc/hadoop/*.xml input
# 通过查看 DataNode 的状态(占用大小有改变),输入文件确实复制到了DataNode中

# 运行MapReduce作业
hadoop jar /usr/local/tools/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 运行时的输出信息与伪分布式类似,会显示Job的进度;
# 如果迟迟没有进度,不妨重启hadoop试试;
# 如果重启还不行,则是虚拟机内存太小了;
## 通过Web界面查看任务进度
http://192.168.10.60:8088/cluster

# 查看查看运行结果
hdfs dfs -cat output/*

HDFS常用操作

# 列出HDFS下的文件
hadoopdfs -ls
# 列出HDFS下某个文档中的文件 
hadoop dfs -ls DIR
# 上传文件到指定目录并且重新命名,只有所有的DataNode都接收完数据才算成功
hadoop dfs -put test1.txt test
# 从HDFS获取文件并且重新命名为DIR2 ,同put一样可操作文件也可操作目录
hadoop dfs -get DIR DIR2 
# 从HDFS上删除指定文件
hadoop dfs -rm FILE 
# 查看HDFS上DIR目录的内容
hadoop dfs -cat DIR/* 
# 查看HDFS的基本统计信息
hadoop dfsadmin -report
# 进入安全模式
hadoop dfsadmin -safemode enter 
# 退出安全模式
hadoop dfsadmin -safemode leave 

关闭Hadoop集群(Master节点)

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

---