Mac安装Hadoop

查看mac系统Java版本和安装目录

/usr/libexec/java_home -V

应该能查看到结果

Matching Java Virtual Machines (1):
    1.8.0_131, x86_64:  "Java SE 8" /Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home

修改各自的hostname

用pd新建一个ubuntu虚拟机，配置好一个然后克隆2个就好。

关闭防火墙

ubutntu中命令是

 ufw disable

修改hostname

<code>su -</code> 进入到root用户

vim /etc/hostname

配置静态IP

• master设置为192.168.3.74
• salve1设置为192.168.3.75
  可以在网络那里用图形化界面edit设置。GateWay设置成路由器的地址
• salve2设置为192.168.3.80
  可以在网络那里用图形化界面edit设置。GateWay设置成路由器的地址
  然后各个节点之间可以ping通

WechatIMG10.jpeg

修改hosts文件

vim /etc/hosts

安装JDK

SSH免密钥登陆

该步骤都是在普通用户下完成

Master节点操作：

• 终端生成密钥，一路回车

ssh-keygen -t rsa

• 复制公钥文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• 修改 authorized_keys 文件的权限，命令如下:

chmod 600 ~/.ssh/authorized_keys

slave节点

• 在终端生成密钥，命令如下(一路点击回车生成密钥)

ssh-keygen -t rsa

• 将 authorized_keys 文件移动到.ssh 目录

mv authorized_keys ~/.ssh/

• 修改 authorized_keys 文件的权限，命令如下:

 cd ~/.ssh
chmod 600 authorized_keys

• 如果出现Agent admitted failure to sign using the key

ssh-add   ~/.ssh/id_rsa

• 验证

ssh slave1

Hadoop部署配置

每个节点配置一样，所以在master配置好复制到各个slave就好
进入到普通用户下。首先我把hadoop2-5-2放在／home／yubin下

• 配置环境变量 hadoop-env.sh.就是配置JAVA_HOME

WechatIMG14.jpeg

• 配置环境变量 yarn-env.sh 就是配置JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_111

• 配置核心组件 core-site.xml

<property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.3.74:9000</value>
</property>
<property>
            <name>hadoop.tmp.dir</name>
            <value>/home/yubin/hadoop-2.5.2/hadoopdata</value>     
</property>
```
- 配置文件系统 hdfs-site.xml
```
<configuration>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
     </property>
</configuration>
```
- 配置文件系统 yarn-site.xml
```
<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
</property>
<property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
</property>
```
- 配置计算框架 mapred-site.xml
```
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>
```
- 在 master 节点配置 slaves 文件
```
master
slave1
slave2
```
- 复制到从节点1
```
scp -r hadoop-2.5.2 slave1:~/
```
- 复制到从节点2
```
scp -r hadoop-2.5.2 slave2:~/
```
#####启动集群
也是在普通用户下进行
- 配置hadoop环境变量,在/etc/profile中
```
export HADOOP_HOME=/home/yubin/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
```
然后source
- 创建数据目录
```
mkdir /home/yubin/hadoop-2.5.2/hadoopdata
```
- 格式化文件系统
```
hdfs namenode -format
```
- 启动
```
sbin/start-all.sh
```
- JPS查看进程
- WEB查看
```
 http://master:50070/
```