shell入门26-监控网络,nginx脚本分析,异常登陆IP过滤

最后练几个典型脚本

一，监控网络连接状态脚本

脚本

#!/bin/bash
# 功能描述：监控网络连接状态脚本

# 所有TCP连接的个数
TCP_Total=$(ss -s |awk '$1=="TCP"{print $2}')
# 所有UDP连接的个数
TCP_Total=$(ss -s |awk '$1=="UDP"{print $2}')
# 所有UNIX socket连接个数
Unix_sockets_Total=$(ss -ax |awk 'BEGIN{count=0} {count++} END{print count}')

# 所有处理Listen监听状态的TCP端口个数
TCP_Listen_Total=$(ss -antlpH |awk 'BEGIN{count=0} {count++} END{print count}')


# 所有处于ESTABLISHED状态的TCP连接个数
TCP_Estab_Total=$(ss -antpH |awk 'BEGIN{count=0} /^ESTAB/{count++} END{print count}')

# 所有处于SYN-RECV状态的TCP连接个数
TCP_SYN_RECV_Total=$(ss -antpH |awk 'BEGIN{count=0} /^SYN-RECV/{count++} END{print count}')

# 所有处于TIME-WAIT状态的TCP连接个数
TCP_TIME_WAIT_Total=$(ss -antpH |awk 'BEGIN{count=0} /^TIME-WAIT/{count++} END{print count}')

# 所有处于TIME-WAIT1状态的连接个数
TCP_TIME_WAIT1_Total=$(ss -antpH |awk 'BEGIN{count=0} /^TIME-WAIT1/{count++} END{print count}')

# 所有处于TIME-WAIT2状态的TCP连接个数
TCP_TIME_WAIT2_Total=$(ss -antpH |awk 'BEGIN{count=0} /^TIME-WAIT2/{count++} END{print count}')

# 所有远程主机的TCP连接次数
TCP_Remote_Count=$(ss -antH | awk '$1!~/LISTEN/{IP[$5]++} END{ for(i in IP){print IP[i],i} }' |sort -nr)
# 每个端口被访问的次数
TCP_Port_Count=$(ss -antH |sed -r 's/ +/ /g' |awk -F"[ :]" '$1!~/LISTEN/{port[$5]++} END{for (i in port) {print port[i],i}}' |sort -nr)
# 定义输出颜色
SUCCESS="echo -en \\033[1;32m" # 绿色
NORMAL="echo -en \\033[0;39m" #黑色

# 显示TCP连接总数
tcp_total(){
  echo -n "TCP连接总数："
  $SUCCESS
  echo "$TCP_Total"
  $NORMAL
}
# 显示处于LISTEN状态的TCP端口个数
tcp_listen(){
  echo -n "处于LISTEN状态的TCP端口个数："
  $SUCCESS
  echo "$TCP_Listen_Total"
  $NORMAL
}
# 显示处于ESTABLISHED状态的TCP连接个数
tcp_estab(){
  echo -n "处于ESTAB状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_Estab_Total"
  $NORMAL
}
# 显示处于SYN-RECV状态的TCP连接个数
tcp_syn_recv(){
  echo -n "处于SYN-RECV状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_SYN_RECV_Total"
  $NORMAL
}
# 显示处于TIME-WAIT状态的TCP连接个数
tcp_time_wait(){
  echo -n "处于TIME-WAIT状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_TIME_WAIT_Total"
  $NORMAL
}
# 显示处于TIME-WAIT1状态的TCP连接个数
tcp_time_wait1(){
  echo -n "处于TIME-WAIT1状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_TIME_WAIT1_Total"
  $NORMAL
}
# 显示处于TIME-WAIT2状态的TCP连接个数
tcp_time_wait2(){
  echo -n "处于TIME-WAIT2状态的TCP连接个数："
  $SUCCESS
  echo "$TCP_TIME_WAIT2_Total"
  $NORMAL
}
# 显示UDP连接总数
udp_total(){
  echo -n "UDP连接总数："
  $SUCCESS
  echo "$UDP_Total"
  $NORMAL
}
# 显示UNIX socket连接总数
unix_total(){
  echo -n "Unix socket连接总数："
  $SUCCESS
  echo "$Unix_sockets_Total"
  $NORMAL
}
# 显示每个远程主机的访问次数
remote_count(){
  echo -n "每个远程主机与本机的并发连接数："
  $SUCCESS
  echo "$TCP_Remote_Total"
  $NORMAL
}
# 显示每个端口的并发连接数
port_count() {
  echo "每个端口的并发连接数："
  $SUCCESS
  echo "$TCP_Port_Count"
  $NORMAL
}

print_info() {
  echo -e "------------------------------------"
  $1
}

print_info tcp_total
print_info tcp_listen
print_info tcp_estab
print_info tcp_syn_recv
print_info tcp_time_wait
print_info tcp_time_wait1
print_info tcp_time_wait2
print_info udp_total
print_info unix_total
print_info remote_count
print_info port_count
echo -e "--------------------------------------------------"

效果

bash netstat.sh 
------------------------------------
TCP连接总数：0
------------------------------------
处于LISTEN状态的TCP端口个数：5
------------------------------------
处于ESTAB状态的TCP连接个数：6
------------------------------------
处于SYN-RECV状态的TCP连接个数：0
------------------------------------
处于TIME-WAIT状态的TCP连接个数：0
------------------------------------
处于TIME-WAIT1状态的TCP连接个数：0
------------------------------------
处于TIME-WAIT2状态的TCP连接个数：0
------------------------------------
UDP连接总数：
------------------------------------
Unix socket连接总数：161
------------------------------------
每个远程主机与本机的并发连接数：
------------------------------------
每个端口的并发连接数：
2 33741
2 22
1 55248
1 55246
1 43418
--------------------------------------------------

二，Nginx日志分析脚本

日志样例

172.40.62.167 - - [30/Sep/2018:22:38:57 +0800] "GET /styles/blue-theme.css HTTP/1.1" 200 130510 "-" "http://127.0.0.1/setup.php" "Mozilla/5.0 (X11;Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.146 - - [19/Nov/2018:09:01:46 +0800] "GET /course HTTP/1.1" 404 169 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
172.40.58.152 - - [19/Nov/2018:08:58:40 +0800] "GET /favicon.ico HTTP/1.1"200 32988 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
172.40.58.144 - - [16/Apr/2019:19:36:18 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.212 - - [16/Apr/2019:19:39:23 +0800] "GET /favicon.ico HTTP/1.1" 200 81145 "http://172.40.50.118/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.48 - - [16/Apr/2019:19:36:45 +0800] "GET /index.html HTTP/1.1" 200 32988 "http://172.40.50.120/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
172.40.58.212 - - [16/Apr/2019:19:36:56 +0800] "GET /test.html HTTP/1.1" 404 571 "http://172.40.50.118/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
[root@127 shell_demo]#

脚本

#!/bin/bash
# 功能描述：NGINX标准日志分析脚本
# 统计信息包括：
#1.页面访问量PV
#2.用户量UV
#3.人均访问量
#4.每个IP的访问次数
#5.HTTP状态码统计
#6.累计页面字节流量
#7.热点数据


GREEN_COL='\033[32m'
NONE_COL='\033[0m'
line='echo ++++++++++++++++++++++++++++++++++'

# read -p "请输入日志文件：" logfile
logfile="$1"
echo

# 判断日志文件是否存在
if [ ! -f $logfile ]; then
  echo "$logfile文件不存在。"
  exit
fi


# 统计页面访问量（PV）
# PV=$(cat $logfile|wc -l)
PV=$(sed -n '$=' $logfile)

# 统计用户数量（UV）
# UV=$(cut -f1 -d' ' $logfile|sort |uniq |wc -l)
UV=$(awk '{IP[$1]++} END{ print length(IP)}' $logfile)

# 统计人均访问次量
Average_PV=$(echo "scale=2;$PV/$UV" |bc)

# 统计每个IP的访问次数
#declare -A IP
#while read ip other
#do
#  let IP[$ip]+=1
#done < $logfile
IP=$(awk '{IP[$1]++} END{for (i in IP) {print i, "\t的访问次数为：",IP[i]}"\r"}' $logfile |sort -rn -k3)

# 统计各种HTTP状态码个数
#declare -A IP
#while read ip dash user time zone method file protocol code size other
#do
#  let STATUS[$code]++
#done < $logfile
STATUS=$(awk '{IP[$9]++} END{for (i in IP){print i "状态的次数：",IP[i]}"\r"}' $logfile | sort -rn -k2)

# 统计网页累计访问字节大小
#while read ip dash user time zone method file protocol code size other
#do
#  let Body_size+=$size
#done < $logfile
Body_size=$(awk '{SUM+=$10} END{print SUM}' $logfile)

# 统计热点数据
#declare -A URI
#while read ip dash user time zone method file protocol code size other
#do
#  let URI[$file]++
#done < $logfile
URI=$(awk '{IP[$7]++} END{for (i in IP){if (IP[I]>=2) {print i "的访问次数：",IP[i]}}}' $logfile)

echo -e "\033[91m\t日志分析数据报表\033[0m"

# 显示PV和UV访问量，平均用户访问量
$line
echo -e "累计PV量：$GREEN_COL$PV$NONE_COL"
echo -e "累计UV量：$GREEN_COL$UV$NONE_COL"
echo -e "平均用户访问量：$GREEN_COL$Average_PV$NONE_COL"

# 显示网页累计访问字节数
$line
echo -e "累计访问字节数：$GREEN_COL$Body_size$NONE_COL Byte"

# 显示指定的HTTP状态码数量
$line
#for i in 200 404 500
#do
#  if [ ${STATUS[$i]} ]; then
#    echo -e "$i 状态码次数：$GREEN_COL ${STATUS[$i]} $NONE_COL"
#  else
#    echo -e "$i 状态码次数：$GREEN_COL 0 $NONE_COL"
#  fi
#done
echo "$STATUS"

# 显示每个IP的访问次数
$line
#for i in ${!IP[@]}
#do
#  printf "%-15s的访问次数为：$GREEN_COL$s$NONE_COL\n" $i ${IP[$i]}
#done
echo "$IP"

# 显示访问量大于500的URI
echo -e "$GREEN_COL 访问量大于500的URI：$NONE_COL"
#for i in "${!URI[@]}"
#do
#  if [ ${URI["$i"]} -gt 500 ]; then
#    echo "----------------------------------"
#    echo "$i"
#    echo "$URI[$i]}次"
#    echo "-----------------------------------"
#  fi
#done
echo "$URI"

效果

[root@127 shell_demo]# bash nginx_log.sh access.log 

        日志分析数据报表
++++++++++++++++++++++++++++++++++
累计PV量：7
累计UV量：6
平均用户访问量：1.16
++++++++++++++++++++++++++++++++++
累计访问字节数：245383 Byte
++++++++++++++++++++++++++++++++++
200状态的次数： 3
404状态的次数： 2
32988状态的次数： 1
304状态的次数： 1
++++++++++++++++++++++++++++++++++
172.40.58.212   的访问次数为： 2
172.40.62.167   的访问次数为： 1
172.40.58.48    的访问次数为： 1
172.40.58.152   的访问次数为： 1
172.40.58.146   的访问次数为： 1
172.40.58.144   的访问次数为： 1
 访问量大于500的URI：

三，异常IP过滤

脚本

#!/bin/bash
# 功能描述：分析系统登陆日志，过滤异常IP地址，并通过防火墙禁用该IP

# 强制退出时，关闭所有后台进程
trap 'kill $one_pid; kill $five_pid; kill $fifteen_pid; exit' EXIT INT

# 日志文件路径
LOGFILE=/var/log/demo_secure
BLOCKFILE=/tmp/blockip.txt

one_minute(){
  while :; do
    # 获取计算机当前时间，以及1分钟前的时间，时间格式
    # %b(月份简写，Jan) %e(日期，1) %T(时间 18:00:00)
    # LANG=C的作用是否防止输出中文
    # 使用local定义局部变量的好处是多个函数使用相同的变量名也不会冲突
    local curtime_month=$(LANG=C date +"%b")
    local curtime_day=$(LANG=C date +"%e")
    local curtime_time=$(LANG=C date +"%T")
    local one_minus_ago=$(LANG=C date -d "1 minutes ago" +"%T")
    # 将当前时间转换为距离1970-01-01 00:00:00的秒数，方便后期计算
    local curtime_seconds=$(LANG=C date +"%s")
    # 分析1分钟内所有的日志，如果密码失败则过滤倒数第4列的IP地址
    # 通过管道对过滤的IP进行计数统计，提取密码失败次数大于等于3次的IP地址
    # awk调用外部Shell的变量时，双引号在外面表示字符串("''"),单引号在外边表示数字('""')
    pass_fail_ip=$(awk ' 
        $1=="'$curtime_month'" && \
        $2=='"$curtime_day"' && \
        $3>="'$one_minus_ago'" && \
        $3<="'$curtime_time'" \
        { if ($6=="Failed" && $9!="invalid") { print $(NF-3)}}'
    $LOGFILE | \
        awk '{IP[$1]++} END{ for (i in IP) { if (IP[i]>=3) {print i}}}')
    # 将密码失败次数大于3次的IP写入黑名单文件，
    # 每次写入前，都需要判断黑名单中是否已经存在该IP
    # 写入黑名单时附加时间标记，实现仅将IP放入黑名单特定的时间，
    # 如：密码失败3次后，禁止该 IP在20分钟内再次访问服务器
    for i in $pass_fail_ip; do
      if ! grep -q "$i" $BLOCKFILE; then
        echo "$curtime_seconds $i" >> $BLOCKFILE
      fi
    done

    # 提取无效帐户登录服务器3次的IP地址，并将其加入黑名单
    user_invalid_ip=$(awk '
        $1=="'$curtime_month'" && \
        $2=='"$curtime_day"' && \
        $3>="'$one_minus_ago'" && \
        $3<="'$curtime_time'" \
        { if ($6=="Invalid") {print $(NF-2)}}' $LOGFILE | \
        awk '{IP[$1]++} END{for (i in IP) {if (IP[i]>=3) {print i}}}')
    
    for j in $user_invalild_ip; do
        if ! grep -q "$j" $BLOCKFILE; then
          echo "$curtime_seconds $j" >> $BLOCKFILE
        fi
    done
    sleep 60
  done
}

# 每隔20分钟检查一次黑名单，清理大于20分钟的黑名单IP
clear_blockip() {
  while : ; do
    sleep 1200
    local curtime_seconds=$(LANG=C date +"%s")
    tmp=$(awk -v now=$curtime_seconds '(now-$1)>=12000 {print $2}' $BLOCKFILE)
    for i in $tmp; do
        sed -i "/$i/d" $BLOCKFILE
    done
  done
}

touch $BLOCKFILE
one_minute & 
one_pid="$!"
clear_blockip

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 202,723评论 5赞 476
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,080评论 2赞 379
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 149,604评论 0赞 335
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,440评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,431评论 5赞 364
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,499评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,893评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,541评论 0赞 256
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,751评论 1赞 296
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,547评论 2赞 319
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,619评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,320评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,890评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,896评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,137评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,796评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,335评论 2赞 342

shell入门26-监控网络,nginx脚本分析,异常登陆IP过滤

一，监控网络连接状态脚本

二，Nginx日志分析脚本

三，异常IP过滤

推荐阅读更多精彩内容