Shell脚本轻松学

一、Shell是什么

shell是一门命令语言，linux环境默认支持的，主要用于用户与linux内核直接交互的一门中间解释语言，linux内核只认识二进制代码，所以简单说，用户编写shell脚本发出命令，linux内核接收命令并执行操作，主要用于一些运维场景，让机器为我们自动化工作。
shell脚本就是写一个完成任务的所有命令按照执行顺序自上而下地写入一个文件中，然后给予执行权限。

一、上手第一个shell脚本

首先进入linux系统，打开命令行，输入命令vi test.sh创建一个shell测试脚本，键入i切换vi编辑器为输入模式，输入以下文本内容，键入:wq保存退出即可。下面第一行的#!是告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 程序，#!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行

#!/bin/bash
echo "hello xiaojiang!"

#### 执行shell脚本文件两种方法 ###
#1、给执行权限后，使用 ./ shell脚本文件名
#2、直接bash shell脚本文件名

#### shell模板三要素  ###
#!/bin/bash (解释执行环境)
#脚本注释 (作者、创建时间、功能说明)
#代码内容 (实现功能)

运行此shell脚本，切换到当前目录下，先输入chmod +x ./test.sh 使脚本具有执行权限，再输入命令./test.sh执行脚本。

二、基础知识

变量命名规范跟以往其他编程语言的规范大致相同，shell编程的注释是#，而#!是特例
PS:shell编程不像其他编程语言，所以不要以平时代码习惯给赋值=两侧加空格，否则报错

myName="小江"      //定义变量
echo ${myName}         //使用变量

readonly myName="小赵"   //readonly命令声明变量为只读变量，则变量的值不允许被改变
myName="小赵copy"    //会报错提示

unset命令撤销变量，不过不能撤销只读变量
unset myName

export myName     //把变量提升为全局环境变量，可供其他shell程序使用

//常用的系统变量
$HOME    //根目录
$PWD     //当前目录
$SHELL   //当前SHELL解释器
$USER    //当前系统用户

//特殊变量
$#   //获取所有参数的个数，常用于循环
$*   //获取命令行的所有参数，相当于一个整体
$@   //获取命令行的所有参数，但不用于$*是把每个参数区分出来
$?   //返回上一条命令是否正确执行的状态，当输出为0是代表上一条命令正确执行，为true

test = "abcd1234"
echo ${#test}     //获取字符串的长度，输出8
echo ${test:4:7}   //截止字符串，字符串下标从0开始

数组的值用空格分开，下标也是从0开始
arrayName = ('小江' '小林' '小赵')
${arrayName[1]}    //输出小林
${arrayName[@]}    //输出数组所有值，小江 小林 小赵

shell的常用命令

man  //这个命令就是相当于百科的作用，查询命令的使用方法，比如 man echo
cd ~  //返回家目录
cd -   //返回上一级目录
history   //查看输入的历史命令列表
!!   //重新执行上一次命令
!p  //会在历史命令中去模糊匹配最近一次有关p的命令并执行
!62  //62是history历史命令列表命令行号，!命令id就可以重新执行相关命令
read -t 秒数 -p 描述 参数    //在控制台指定秒数内按照描述提示输入参数自动执行操作
expr + - * /   //加减乘除运算  不过*要注意，得用转义字符\转义下，不然会认为*是匹配所有的符号，同时expr需要是整数以及都要有空格
expr 3 \* 9     //输出结果：27
echo -n "Date is :";date +%F     //输出结果：Date is :2020-06-30
|  //管道
>  //重定向输入，覆盖原数据
>>   //重定向追加输入，在原数据的末尾添加
<   //重定向输出
wc -w 文件名  // 统计文件单词数
echo $?   //可以查看上一次命令是否执行成功，0表示成功

系统函数
bashname 文件绝对路径     //截取路径剩下文件名
dirname 文件绝对路径   //截取路径除了文件名的路径

条件判断

判断表达式是[ 判断内容 ]   PS：括号内两侧空格不能少
整数比较  -eq  等于  -ne  不等于  -gt  大于  -lt  小于  -ge  大于等于  -le  小于等于
文件权限  -w  写权限  -r  读权限  -x  执行权限
文件类型  -f  文件存在并是个常规文件  -e 文件存在  -d 文件存在并是个目录

for循环

for(( 初始值;循环控制条件;变量变化 ))   PS：双括号内两侧空格不能少
  do
    程序
  done

三、shell基础小案例

1、实现在指定目录下创建一个文本文件并在末尾追加内容进去

#!/bin/bash
#小江;2020-09-10;实现在指定目录下创建一个文本文件并在末尾追加内容进去

cd /root/shell_study/
touch second_shell_create.txt
echo "这是执行第二个shell脚本second_shell.sh生成的结果" >> second_shell_create.txt

2、用条件判断判断一个文件是否有写权限并输出状态

#!/bin/bash
#小江,2020-09-11,用条件判断判断一个文件是否有写权限并输出状态

[ -w second_shell.sh ]
status=$?
echo $?
if [ ${status} -eq 0 ]
then echo "该second_shell.sh文件具有写权限"
else  
echo "该second_shell.sh文件不具有写权限"
fi 

3、使用case进行多分支条件传参判断性别

#!/bin/bash
#小江,2020-09-11,使用case进行多分支条件判断

case $1 in
1)
    echo "男"
;;
2)
    echo "女"
;;
*)
    echo "未知"
;;
esac

4、使用for循环累加1到100

#!/bin/bash
#小江,2020-09-11,使用for循环累加1到100

s=0
for(( i=1;i<=100;i++ ))
        do
                s=$[$s+$i]
        done
echo "循环累加后的值为："$s

5、使用for操作来新增人群名单

#!/bin/bash
#小江,2020-09-11,使用for操作来新增人群名单，深入验证学习$*he$@的区别

echo "PS: \$*会把传参当成一个整体，而\$@是会分成每个参数"
for i in "$*"
        do
                echo $i
        done
echo "=========================="
for j in "$@"
        do
                echo $j
        done

6、自定义函数实现sum求和两个参数

#!/bin/bash
#小江,2020-09-11,自定义sum函数求和输入的两个参数值

function sum()
{
    i=0;
    i=$[$1+$2]
    echo "自定义sum函数求和后结果为："$i
}

read -p "输入第一个参数：" p1
read -p "输入第二个参数：" p2

sum $p1 $p2

四、大数据应用重点关注的4个shell工具命令

新建测试文件做测试使用，注意：以下4个工具命令并不会对文件造成物理改变，即不会改变文件内容，除非使用重定向存储输出。

test.txt test_1txt
1、Cut：这个工具主要是“切”，剪切功能，参数 -f 提取第几列 -d 指定分隔符来分割列
切割取指定列.png
image.png
切割环境变量.png
2、Sed：是一种流编辑器，一次处理一行内容，把当前处理的行存储在临时缓冲区，称为“模式空间”，处理完临时缓冲区内容后输出到屏幕，再接着重复操作处理下一行。 参数 -e 指定动作编辑 a代表新增 d代表删除 s代表替换
image.png
3、Awk：文本分析工具，把文件逐行读入，类似于cut每行切片，默认以空格为分隔符。 参数 -F 指定输入文件分隔符 -v 赋值一个用户定义变量
image.png
对分数进行求和.png
4、Sort：对文件进行排序 参数 -n 依照数值大小排序 -r 倒序 -t 设置排序时的分隔字符 -k 指定需要排序的列
image.png