Shell-系统分析

分析Linux系统以及状态的监视,提取Linux操作系统信息,获取操作系统运行状态,分析应用状态nginx,mysql,应用日志分析。

  1. VIM编辑器
  • 设置
    永久设置:修改vimrc文件
    临时关闭高亮模式:syntax off
    永久开启高亮模式,针对所有用户/etc/vimrc syntax on针对某个用户下,vim ~/.vimrc
  • 语法高亮 syntax on
  • 显示行号 set number set nonumber
  • 自动缩进 set autoindent set cindent
  • 自动加入文件头
  1. Shell编程高级知识
  • Shell高亮显示
    echo -e是处理特殊字符
    echo -e 终端颜色+显示内容+结束后颜色
    1为设置终端颜色,30m为灰色,0m为黑色
    echo -e "\e[1;30m Jeson say Hi~ \e[1;0m"
    tput sgr0初始化终端为正常屏幕,先设置文字颜色,再初始化终端
    echo -e "\e[1;30m" "Jeson say Hi~" $(tput sgr0)
  • Shell关联数组
    普通数组:只能用整数作为数组索引
    关联数组:可以使用字符串作为数组索引
    declare -A ass_array1声明关联数组变量
    ass_array1[index1]=pear赋值
  1. 主控脚本
#!/bin/bash
#经常使用的命令
resettem=$(tput sgr0)
declare -A ssharray
#关联数组
#declare -A声明数组变量-x变成环境变量-i定义为整数
i=0
numbers=""
#ls -I 排除后面的字符串ignore
for script_file in `ls -I "monitor.sh" ./`
do
    echo -e '\e[35m'"The script:" ${i} '==>' ${resettem} ${script_file}
    grep -E "^\#Program function" ${script_file}
    ssharray[$i]=${script_file}
    #echo ${ssharray[$i]}
    numbers="${numbers} | ${i}"
    i=$((i+1))
done
while true
do
    read -p "Please input one number in [ ${numbers} ]:" execshell
    #使用模式匹配,双方括号,非数字开头+表示一次或者多次
    if [[ ! ${execshell} = ~^[0-9]+ ]];then
        exit 0
    fi
    /bin/bash ./${ssharray[$execshell]}
done```
3. Shell对于系统资源提取及运行状态分析
提取操作系统信息,内核,系统版本,网络地址,分析系统的运行状态,CPU负载,内存及磁盘使用率。
操作系统使用内存和应用程序使用内存
`free -m`
系统使用内存=Total-Free
应用使用内存=Total-(Free+Cached+Buffers)
内存中cache和buffer区别
缓存区,cache用于打开的文件,最少使用原则
buffer,分缓存主要用于目录项,inode等文件系统,先进先出策略

!/bin/bash

clear
if [ $# -eq 0 ];then
#uname命令打印当前系统相关信息
reset_terminal=$(tput sgr0)
#check os type
os=$(uname -o)
echo -e '\e[1;32m'" operating system type: " $reset_terminal $os
#check os release version and name
os_name=$(cat /etc/issue|grep -e "Server")
echo -e '\E[32m'"check os release version and name:" $reset_terminal $os_name
#check architectureCPU指令集
architecture=$(uname -m)
echo -e '\E[32m'"check architecture" $reset_terminal $architecture
#check kernel release
kernelrelease=$(uname -r)
echo -e '\E[32m'"check kernel release" $reset_terminal $kernelrelease
#check hostname
hostname=$(uname -n)
#hostname=$(set|grep HOSTNAME)
#hostname=$(echo HOSTNAME)
echo -e '\E[32m'"check hostname" $reset_terminal $hostname
#check internal ip内网ip
internelip=$(hostname -I)
echo -e '\E[32m'"check internal ip" $reset_terminal $internelip
#check external ip外网ip返回出口ip,curl -s静默发送请求
externalip=$(curl -s http://ipecho.net/plain)
echo -e '\E[32m'"check external ip" $reset_terminal $externalip
#check dns
dns=$(cat /etc/resolv.conf | grep nameserver | awk '{print $NF}')
echo -e '\E[32m'"check dns" $reset_terminal $dns
#check if connected to internet or not
#比用$?要方便多了
ping -c 2 imooc.com &>/dev/null && echo "Internet:connected" || echo "Internet:disconnected"
#check logged in users
who>/tmp/who
echo -e '\E[32m'"logged in Users" $reset_terminal && cat /tmp/who
rm -f /tmp/who
fi```
根分区下/proc 读取文件分析系统状态
应用程序使用内存awk '/MemTotal/{total=$2}/MemFree/{free=$2}/^Cached/{cached=$2}/Buffers/{buffers=$2}END{print (total-free-cached-buffers)/1024}' /proc/meminfo
操作系统使用内存awk '/MemTotal/{total=$2}/MemFree/{free=$2}END{print (total-free)/1024}' /proc/meminfo

  • 操作系统负载
    load=1.0 满负荷 =0.5 没有满负荷 =1.7
    top -n 1 -b -n表示读取一次,-b表示读取信息更加全面
    top -n 1 -b | grep "load average"|awk '{print $12 $13 $14}'
  • 操作系统磁盘容量
    df -hP | grep -vE 'Filesystem|tmpfs' | awk '{print $1 " " $5}
  1. Shell分析程序或者应用状态
    利用操作系统命令ping,nslookup(检查dns),nm-tool,traceroute,dig,telnet,nc,curl(检查http响应是否成功)
    监控进程ps,netstat,pgrep(获得正在被调度的进程的相关信息)
    客户端命令mysql,ab,mongo,php,jstack,nginxstatus,nagios-libexec
  • nginx
    curl -m 5 设置最大传输时间 -s 静默模式 -w %{http_code}显示http返回状态码 -o /dev/null 输出
  • MySQL
    监控MySQL主从复制状态,通过IO/Thread同步
    shell,connect->show slave status->return data
    搭建主从复制环境(MySQL相关课程)。基于mysql客户端状态,获取主从复制状态,show slave status\G;格式化输出,每行输出,Slave_IO_RunningIO线程是否有链接到主服务器上,Seconds_Behind_Master主从同步的延时时间
    nc用于设置路由器 -z使用0输入/输出模式,只在扫描通信端口时使用,-w2设置等待连线的时间,mysql默认端口3306
    给监控单独配置一个用户,从服务器上。
    mysql -urep -prep -h10.156.11.233 -e "show slave status\G"
    也就是首先判断端口是否链接,然后登录客户端,然后执行相应的管理语句,返回状态信息进行判断。

整个检测判断分析代码:

#!/bin/bash
NginxServer='http://10.156.11.173/nginx_status'
Check_Nginx_Server(){
    Status=$(curl -m 5 -s -w %{http_code} ${NginxServer} -o /dev/null)
    if[ $Status -eq 000 -o $Status -ge 500 ];then
        echo -e 'check http server error! Response status code is ' $Status
    else
        #成功的话重新发起请求,获取数据
        Http_content=$(curl -s $(NginxServer))
        echo "check http server ok! Response status code is " $Http_content
    fi
}
Check_Nginx_Server
Mysql_Slave_Server='10.156.11.233'
Mysql_User='rep'
Mysql_Pass='rep'
Check_Mysql_Server(){
    #判断端口是否链接
    nc -z -w2 ${Mysql_Slave_Server} 3306 &>/dev/null
    if [ $? -eq 0 ];then
        echo "Connect ${Mysql_Slave_Server} ok!"
        mysql -u${Mysql_User} -p${Mysql_Pass} -h${Mysql_Slave_Server} -e "show slave status\G" | grep "Slave_IO_Running" | awk '{if($2!="yes"){print "slave IO thread not running";exit 1}}'
        if [ $? -eq 0 ];then
            mysql -u${Mysql_User} -p${Mysql_Pass} -h${Mysql_Slave_Server} -e "show slave statys\G" | grep "Seconds_Behind_Master"
    else
        echo "Connect Mysql server not succeeded"
    fi
}
Check_Mysql_Server```
5. Shell日志提取分析
nginx日志分析,webserver
  - 常见系统日志文件
    - 系统日志
/var/log/messages 系统主日志文件
/var/log/secure 认证,安全日志文件
/var/log/dmesg 和系统启动相关的日志文件
    - 应用服务
access.log nginx访问日志
mysqld.log mysql运行日志
xferlog 访问ftp服务器相关
    - 程序脚本
开发语言的日志:C,C++,Java,php
框架日志:Django,MVC,Servlet
脚本语言,shell,Python

  log_format,日志的格式
`cat /etc/nginx/nginx.conf | grep -A 2 log_format`
  - http状态码
    - 1** 信息,服务器收到请求,需要请求者继续执行操作
    - 2** 成功,操作被成功接收并处理
    - 3** 重定向,需要进一步操作以完成请求
    - 4** 客户端错误,请求包含语法错误或无法完成请求
    - 5** 服务器错误,服务器在处理请求的过程中发生了错误

  `cat /opt/logs/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | more`
uniq命令删除文件中的重复行,-c在输出行前面加上每行在输入文件中出现的次数
sort排序,-r逆序,-n以数值排序,而不是字符
数据清洗,按照每一条数据特征点进行匹配,grep -i不区分大小写,-o精确输出,-E正则,使用原字符,`cat /opt/logs/nginx/access.log | grep -ioE "HTTP\/1\.[1|0]\"[[:blank:]][0-9]{3}" `

!/bin/bash

logfile_path='/opt/logs/nginx/access.log'
Check_http_status(){
http_status_codes=$(cat $logfile_path | grep -ioE "HTTP/1.[1|0]"[[:blank:]][0-9]{3}"|awk -F"[ ]+" '{if($2>100 && $2<200){i++}
else if($2>=200 && $2<300){j++}
else if($2>=300 && $2<400){k++}
else if($2>=400 && $2<500){n++}
else if($2>=500){p++}}END{
print i?i:0,j?j:0,k?k:0,n?n:0,p?p:0,i+j+k+n+p}')
echo 100-200 ${http_status_codes[0]}
echo 200-300 ${http_status_codes[1]}
echo 300-400 ${http_status_codes[2]}
echo 400-500 ${http_status_codes[3]}
echo 500+ ${http_status_codes[4]}
echo total ${http_status_codes[5]}
}
Check_http_status
Check_http_code(){
#关联数组
http_code=$(cat $logfile_path|grep -ioE "HTTP/1.[1|0]"[[:blank:]][0-9]{3}"|awk -v total=0 -F"[ ]+" '{
if($2!="")
{code[$2]++;total++}
else
{exit}
}END{
print code[404]?code[404]:0,code[403]?code[403]:0},total
}')
echo 404 $http_code[0]
echo 403 $http_code[1]
echo total $http_code[2]
}
Check_http_code

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容

  • 一、项目目标 搭建一个高可用web集群网站 二、项目规划 2.1 ip地址规划 2.2 拓扑图 2.3 相关说明 ...
    夏日之光阅读 3,376评论 0 1
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,601评论 18 139
  • 【MySQL】Linux下MySQL 5.5、5.6和5.7的RPM、二进制和源码安装 1.1BLOG文档结构图 ...
    小麦苗DB宝阅读 10,511评论 0 31
  • 越来越不喜欢打扰别人 当然 别人也不再打扰我 于是 我的世界了然于清净 这种从成倍的喧嚣中 穿越而来的清静啊 弥足...
    嘉温阅读 232评论 6 8
  • 《让自己自由》,一本国庆假期准备在路上看的书,结果到假期的最后一天才看完(多请了几天假,今天算最后一天)。由于深知...
    口不能言阅读 464评论 0 0