shell入门26-监控网络,nginx脚本分析,异常登陆IP过

作者: 万州客 | 来源:发表于2023-01-06 10:12 被阅读0次

最后练几个典型脚本

一，监控网络连接状态脚本

脚本

#!/bin/bash
# 功能描述：监控网络连接状态脚本

# 所有TCP连接的个数
TCP_Total=$(ss -s |awk '$1=="TCP"{print $2}')
# 所有UDP连接的个数
TCP_Total=$(ss -s |awk '$1=="UDP"{print $2}')
# 所有UNIX socket连接个数
Unix_sockets_Total=$(ss -ax |awk 'BEGIN{count=0} {count++} END{print count}')

# 所有处理Listen监听状态的TCP端口个数
TCP_Listen_Total=$(ss -antlpH |awk 'BEGIN{count=0} {count++} END{print count}')


# 所有处于ESTABLISHED状态的TCP连接个数
TCP_Estab_Total=$(ss -antpH |awk 'BEGIN{count=0} /^ESTAB/{count++} END{print count}')

# 所有处于SYN-RECV状态的TCP连接个数
TCP_SYN_RECV_Total=$(ss -antpH |awk 'BEGIN{count=0} /^SYN-RECV/{count++} END{print count}')

# 所有处于TIME-WAIT状态的TCP连接个数
TCP_TIME_WAIT_Total=$(ss -antpH |awk 'BEGIN{count=0} /^TIME-WAIT/{count++} END{print count}')

# 所有处于TIME-WAIT1状态的连接个数
TCP_TIME_WAIT1_Total=$(ss -antpH |awk 'BEGIN{count=0} /^TIME-WAIT1/{count++} END{print count}')

# 所有处于TIME-WAIT2状态的TCP连接个数
TCP_TIME_WAIT2_Total=$(ss -antpH |awk 'BEGIN{count=0} /^TIME-WAIT2/{count++} END{print count}')

# 所有远程主机的TCP连接次数
TCP_Remote_Count=$(ss -antH | awk '$1!~/LISTEN/{IP[$5]++} END{ for(i in IP){print IP[i],i} }' |sort -nr)
# 每个端口被访问的次数
TCP_Port_Count=$(ss -antH |sed -r 's/ +/ /g' |awk -F"[ :]" '$1!~/LISTEN/{port[$5]++} END{for (i in port) {print port[i],i}}' |sort -nr)
# 定义输出颜色
SUCCESS="echo -en \\033[1;32m" # 绿色
NORMAL="echo -en \\033[0;39m" #黑色

# 显示TCP连接总数
tcp_total(){
  echo -n "TCP连接总数："
  $SUCCESS
  echo "$TCP_Total"
  $NORMAL
}
# 显示处于LISTEN状态的TCP端口个数
tcp_listen(){
  echo -n "处于LISTEN状态的TCP端口个数："
  $SUCCESS
  echo "$TCP_Listen_Total"
  $NORMAL
}
# 显示处于ESTABLISHED状态的TCP连接个数
tcp_estab(){
  echo -n "处于ESTAB状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_Estab_Total"
  $NORMAL
}
# 显示处于SYN-RECV状态的TCP连接个数
tcp_syn_recv(){
  echo -n "处于SYN-RECV状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_SYN_RECV_Total"
  $NORMAL
}
# 显示处于TIME-WAIT状态的TCP连接个数
tcp_time_wait(){
  echo -n "处于TIME-WAIT状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_TIME_WAIT_Total"
  $NORMAL
}
# 显示处于TIME-WAIT1状态的TCP连接个数
tcp_time_wait1(){
  echo -n "处于TIME-WAIT1状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_TIME_WAIT1_Total"
  $NORMAL
}
# 显示处于TIME-WAIT2状态的TCP连接个数
tcp_time_wait2(){
  echo -n "处于TIME-WAIT2状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_TIME_WAIT2_Total"
  $NORMAL
}
# 显示UDP连接总数
udp_total(){
  echo -n "UDP连接总数："
  $SUCCESS
  echo "$UDP_Total"
  $NORMAL
}
# 显示UNIX socket连接总数
unix_total(){
  echo -n "Unix socket连接总数："
  $SUCCESS
  echo "$Unix_sockets_Total"
  $NORMAL
}
# 显示每个远程主机的访问次数
remote_count(){
  echo -n "每个远程主机与本机的并发连接数："
  $SUCCESS
  echo "$TCP_Remote_Total"
  $NORMAL
}
# 显示每个端口的并发连接数
port_count() {
  echo "每个端口的并发连接数："
  $SUCCESS
  echo "$TCP_Port_Count"
  $NORMAL
}

print_info() {
  echo -e "------------------------------------"
  $1
}

print_info tcp_total
print_info tcp_listen
print_info tcp_estab
print_info tcp_syn_recv
print_info tcp_time_wait
print_info tcp_time_wait1
print_info tcp_time_wait2
print_info udp_total
print_info unix_total
print_info remote_count
print_info port_count
echo -e "--------------------------------------------------"

效果

bash netstat.sh 
------------------------------------
TCP连接总数：0
------------------------------------
处于LISTEN状态的TCP端口个数：5
------------------------------------
处于ESTAB状态的TCP连接个数：6
------------------------------------
处于SYN-RECV状态的TCP连接个数：0
------------------------------------
处于TIME-WAIT状态的TCP连接个数：0
------------------------------------
处于TIME-WAIT1状态的TCP连接个数：0
------------------------------------
处于TIME-WAIT2状态的TCP连接个数：0
------------------------------------
UDP连接总数：
------------------------------------
Unix socket连接总数：161
------------------------------------
每个远程主机与本机的并发连接数：
------------------------------------
每个端口的并发连接数：
2 33741
2 22
1 55248
1 55246
1 43418
--------------------------------------------------

二，Nginx日志分析脚本

日志样例

172.40.62.167 - - [30/Sep/2018:22:38:57 +0800] "GET /styles/blue-theme.css HTTP/1.1" 200 130510 "-" "http://127.0.0.1/setup.php" "Mozilla/5.0 (X11;Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.146 - - [19/Nov/2018:09:01:46 +0800] "GET /course HTTP/1.1" 404 169 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
172.40.58.152 - - [19/Nov/2018:08:58:40 +0800] "GET /favicon.ico HTTP/1.1"200 32988 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
172.40.58.144 - - [16/Apr/2019:19:36:18 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.212 - - [16/Apr/2019:19:39:23 +0800] "GET /favicon.ico HTTP/1.1" 200 81145 "http://172.40.50.118/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.48 - - [16/Apr/2019:19:36:45 +0800] "GET /index.html HTTP/1.1" 200 32988 "http://172.40.50.120/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.212 - - [16/Apr/2019:19:36:56 +0800] "GET /test.html HTTP/1.1" 404 571 "http://172.40.50.118/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
[root@127 shell_demo]#

脚本

#!/bin/bash
# 功能描述：NGINX标准日志分析脚本
# 统计信息包括：
#1.页面访问量PV
#2.用户量UV
#3.人均访问量
#4.每个IP的访问次数
#5.HTTP状态码统计
#6.累计页面字节流量
#7.热点数据


GREEN_COL='\033[32m'
NONE_COL='\033[0m'
line='echo ++++++++++++++++++++++++++++++++++'

# read -p "请输入日志文件：" logfile
logfile="$1"
echo

# 判断日志文件是否存在
if [ ! -f $logfile ]; then
  echo "$logfile文件不存在。"
  exit
fi


# 统计页面访问量（PV）
# PV=$(cat $logfile|wc -l)
PV=$(sed -n '$=' $logfile)

# 统计用户数量（UV）
# UV=$(cut -f1 -d' ' $logfile|sort |uniq |wc -l)
UV=$(awk '{IP[$1]++} END{ print length(IP)}' $logfile)

# 统计人均访问次量
Average_PV=$(echo "scale=2;$PV/$UV" |bc)

# 统计每个IP的访问次数
#declare -A IP
#while read ip other
#do
#  let IP[$ip]+=1
#done < $logfile
IP=$(awk '{IP[$1]++} END{for (i in IP) {print i, "\t的访问次数为：",IP[i]}"\r"}' $logfile |sort -rn -k3)

# 统计各种HTTP状态码个数
#declare -A IP
#while read ip dash user time zone method file protocol code size other
#do
#  let STATUS[$code]++
#done < $logfile
STATUS=$(awk '{IP[$9]++} END{for (i in IP){print i "状态的次数：",IP[i]}"\r"}' $logfile | sort -rn -k2)

# 统计网页累计访问字节大小
#while read ip dash user time zone method file protocol code size other
#do
#  let Body_size+=$size
#done < $logfile
Body_size=$(awk '{SUM+=$10} END{print SUM}' $logfile)

# 统计热点数据
#declare -A URI
#while read ip dash user time zone method file protocol code size other
#do
#  let URI[$file]++
#done < $logfile
URI=$(awk '{IP[$7]++} END{for (i in IP){if (IP[I]>=2) {print i "的访问次数：",IP[i]}}}' $logfile)

echo -e "\033[91m\t日志分析数据报表\033[0m"

# 显示PV和UV访问量，平均用户访问量
$line
echo -e "累计PV量：$GREEN_COL$PV$NONE_COL"
echo -e "累计UV量：$GREEN_COL$UV$NONE_COL"
echo -e "平均用户访问量：$GREEN_COL$Average_PV$NONE_COL"

# 显示网页累计访问字节数
$line
echo -e "累计访问字节数：$GREEN_COL$Body_size$NONE_COL Byte"

# 显示指定的HTTP状态码数量
$line
#for i in 200 404 500
#do
#  if [ ${STATUS[$i]} ]; then
#    echo -e "$i 状态码次数：$GREEN_COL ${STATUS[$i]} $NONE_COL"
#  else
#    echo -e "$i 状态码次数：$GREEN_COL 0 $NONE_COL"
#  fi
#done
echo "$STATUS"

# 显示每个IP的访问次数
$line
#for i in ${!IP[@]}
#do
#  printf "%-15s的访问次数为：$GREEN_COL$s$NONE_COL\n" $i ${IP[$i]}
#done
echo "$IP"

# 显示访问量大于500的URI
echo -e "$GREEN_COL 访问量大于500的URI：$NONE_COL"
#for i in "${!URI[@]}"
#do
#  if [ ${URI["$i"]} -gt 500 ]; then
#    echo "----------------------------------"
#    echo "$i"
#    echo "$URI[$i]}次"
#    echo "-----------------------------------"
#  fi
#done
echo "$URI"

效果

[root@127 shell_demo]# bash nginx_log.sh access.log 

        日志分析数据报表
++++++++++++++++++++++++++++++++++
累计PV量：7
累计UV量：6
平均用户访问量：1.16
++++++++++++++++++++++++++++++++++
累计访问字节数：245383 Byte
++++++++++++++++++++++++++++++++++
200状态的次数： 3
404状态的次数： 2
32988状态的次数： 1
304状态的次数： 1
++++++++++++++++++++++++++++++++++
172.40.58.212   的访问次数为： 2
172.40.62.167   的访问次数为： 1
172.40.58.48    的访问次数为： 1
172.40.58.152   的访问次数为： 1
172.40.58.146   的访问次数为： 1
172.40.58.144   的访问次数为： 1
 访问量大于500的URI：

三，异常IP过滤

脚本

#!/bin/bash
# 功能描述：分析系统登陆日志，过滤异常IP地址，并通过防火墙禁用该IP

# 强制退出时，关闭所有后台进程
trap 'kill $one_pid; kill $five_pid; kill $fifteen_pid; exit' EXIT INT

# 日志文件路径
LOGFILE=/var/log/demo_secure
BLOCKFILE=/tmp/blockip.txt

one_minute(){
  while :; do
    # 获取计算机当前时间，以及1分钟前的时间，时间格式
    # %b(月份简写，Jan) %e(日期，1) %T(时间 18:00:00)
    # LANG=C的作用是否防止输出中文
    # 使用local定义局部变量的好处是多个函数使用相同的变量名也不会冲突
    local curtime_month=$(LANG=C date +"%b")
    local curtime_day=$(LANG=C date +"%e")
    local curtime_time=$(LANG=C date +"%T")
    local one_minus_ago=$(LANG=C date -d "1 minutes ago" +"%T")
    # 将当前时间转换为距离1970-01-01 00:00:00的秒数，方便后期计算
    local curtime_seconds=$(LANG=C date +"%s")
    # 分析1分钟内所有的日志，如果密码失败则过滤倒数第4列的IP地址
    # 通过管道对过滤的IP进行计数统计，提取密码失败次数大于等于3次的IP地址
    # awk调用外部Shell的变量时，双引号在外面表示字符串("''"),单引号在外边表示数字('""')
    pass_fail_ip=$(awk ' 
        $1=="'$curtime_month'" && \
        $2=='"$curtime_day"' && \
        $3>="'$one_minus_ago'" && \
        $3<="'$curtime_time'" \
        { if ($6=="Failed" && $9!="invalid") { print $(NF-3)}}'
    $LOGFILE | \
        awk '{IP[$1]++} END{ for (i in IP) { if (IP[i]>=3) {print i}}}')
    # 将密码失败次数大于3次的IP写入黑名单文件，
    # 每次写入前，都需要判断黑名单中是否已经存在该IP
    # 写入黑名单时附加时间标记，实现仅将IP放入黑名单特定的时间，
    # 如：密码失败3次后，禁止该 IP在20分钟内再次访问服务器
    for i in $pass_fail_ip; do
      if ! grep -q "$i" $BLOCKFILE; then
        echo "$curtime_seconds $i" >> $BLOCKFILE
      fi
    done

    # 提取无效帐户登录服务器3次的IP地址，并将其加入黑名单
    user_invalid_ip=$(awk '
        $1=="'$curtime_month'" && \
        $2=='"$curtime_day"' && \
        $3>="'$one_minus_ago'" && \
        $3<="'$curtime_time'" \
        { if ($6=="Invalid") {print $(NF-2)}}' $LOGFILE | \
        awk '{IP[$1]++} END{for (i in IP) {if (IP[i]>=3) {print i}}}')
    
    for j in $user_invalild_ip; do
        if ! grep -q "$j" $BLOCKFILE; then
          echo "$curtime_seconds $j" >> $BLOCKFILE
        fi
    done
    sleep 60
  done
}

# 每隔20分钟检查一次黑名单，清理大于20分钟的黑名单IP
clear_blockip() {
  while : ; do
    sleep 1200
    local curtime_seconds=$(LANG=C date +"%s")
    tmp=$(awk -v now=$curtime_seconds '(now-$1)>=12000 {print $2}' $BLOCKFILE)
    for i in $tmp; do
        sed -i "/$i/d" $BLOCKFILE
    done
  done
}

touch $BLOCKFILE
one_minute & 
one_pid="$!"
clear_blockip

shell入门26-监控网络,nginx脚本分析,异常登陆IP过

一，监控网络连接状态脚本

二，Nginx日志分析脚本

三，异常IP过滤

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读