基础过大数据的小伙伴都知道,如果暂时还没有领悟到脚本带来的便捷,那么说明还得好好的进一步提升了,比如我们要启动服务,特别是zookeeper,每个节点都要去启动一次,特别的麻烦;因此,今天就以 hdfs、yarn 和 zookeeper 启动和停止服务以及 jps 查看每个节点的脚本为例,希望大家可以举一反三,废话少说,action...
1.首先在 /opt 目录下创建 mybin 目录用于存放我们自定义的脚本(当然一般脚本是放在 bin 目录下的,以便调用,看个人习惯),再创建我们需要的脚本:
sudo mkdir mybin
cd mybin/
--创建脚本(其他脚本以此类推)
sudo touch start_hdfs_yarn_zookeeper.sh
--将脚本设置成可执行文件
sudo chmod u+x start_hdfs_yarn_zookeeper.sh
--授权给用户组及用户
sudo chown hw:hw start_hdfs_yarn_zookeeper.sh
效果图如下:
image.png
2.编辑启动集群服务脚本
----打开要编辑的脚本文件
vim start_hdfs_yarn_zookeeper.sh
-------以下是脚本文件的内容(注意脚本涉及到的目录要以个人的情况而定)
#!/bin/sh
#start hdfs
echo "hdfs is starting..."
ssh hadoop101 "/opt/module/hadoop-2.7.2/sbin/start-dfs.sh"
#start yarn
echo "yarn is starting..."
ssh hadoop102 "/opt/module/hadoop-2.7.2/sbin/start-yarn.sh"
#start zookeeper
for host in hadoop101 hadoop102 hadoop103
do
echo "$host zookeeper is starting..."
ssh $host "source /etc/profile;/opt/module/zookeeper-3.4.10/bin/zkServer.sh start"
done
3.编辑停止服务脚本
---打开脚本文件
vim stop_hdfs_yarn_zookeeper.sh
------脚本内容如下
#!/bin/sh
#stop zookeeper
for host in hadoop101 hadoop102 hadoop103
do
echo "$host zookeeper is stoping..."
ssh $host "source /etc/profile;/opt/module/zookeeper-3.4.10/bin/zkServer.sh stop"
done
#stop yarn
echo "yarn is stoping..."
ssh hadoop102 "/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh"
#stop hdfs
echo "hdfs is stoping..."
ssh hadoop101 "/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh"
4.编辑 查看 jps 信息脚本
#!/bin/sh
#查看各个主机的java进程
for HOST in hadoop101 hadoop102 hadoop103
do
echo ===================== $HOST =======================
ssh $HOST "jps"
done
这里值得注意的是,如果仅仅是编辑以上的脚本的话启动时时看不到其它主机的信息的,因为他们找不到Java里的jps路径,因此我们必须要去创建软连接:
--Java路径根据你个人安装的情况而定
sudo ln -s /opt/module/jdk1.8.0_144/bin/jps /usr/local/bin/jps
5.启动服务脚本之后 再启动 jps 脚本查看进程
[hw@hadoop101 mybin]$ ./start_hdfs_yarn_zookeeper.sh
[hw@hadoop101 mybin]$ ./start_jps.sh
效果图如下:
image.png
好了,今天就总结那么多,希望对你有帮助,欢迎留言。
网友评论