Hadoop2

套接字 UDP ???????
当hadoop 启动失败 去安装目录下查看日志

image.png

例如：当namenode节点 没有起来时

image.png
hadoop 存在临时目录下 重启就没有了
解决方案
停掉所有的进程 格式化硬盘
使用web访问hadoop的 hdfs
netstat -ano | more
任务提交指定队列 默认是default
Ambari
scp 远程文件的拷贝（两个主机之间）
跟ssh配合使用 image.png

此处 -R 用的是 -r
安全远程文件复制程序 基于ssh
符号连接编程转换成文件
rsync脚本 在集群上分发文件
远程同步工具 主要用于备份和镜像
支持链接、设备等
速度快、避免复制相同内容的文件数据
不支持两个远程主机间的复制
rsync -rvl ~/hello.txt root@s101:/home/ubuntu/
编写xcall脚本 在所有主机上执行相同的命令
在/usr/local/bin/xcall 目录下

image.png

今天学习遇到的问题
1、jar 包导进hadoop集群 报出类找不到异常

image.png
原因是 jdk 的版本问题引发
解决过程
1、找到我们的java项目 如下进行修改jdk的版本
image.png image.png
image.png image.png image.png

2、克隆客户机
问题1

image.png

克隆机跟原来的客户机属于同一网段 因为ip和主机名相同 引发冲突
对克隆机进行ip、 主机名修改
修改过程中由于重新启动网络失败

chkconfig NetworkManager off
chkconfig network on
service NetworkManager stop
service network start
则清空 /etc/udev/rules.d/70-persistent-net.rules 文件的内容
然后重启系统、重启网络

reboot
service network restart
然后发现hadoop启动不了