grep、sed、awk
一、grep的用法
1、grep简介
- grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。
- grep包含grep和egrep，其中egrep为扩展正则，支持更多的元字符，功能更强大。使用-E也可以实现grep的扩展功能。
2、grep命令参数
-a或--text 不要忽略二进制的数据。
-A<显示列数>或--after-context=<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之后的内容。
-b或--byte-offset 在显示符合范本样式的那一列之前，标示出该列第一个字符的位编号。
-B<显示列数>或--before-context=<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之前的内容。
-c或--count 计算符合范本样式的列数。
-C<显示列数>或--context=<显示列数>或-<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之前后的内容。
-d<进行动作>或--directories=<进行动作> 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
-e<范本样式>或--regexp=<范本样式> 指定字符串做为查找文件内容的范本样式。
-E或--extended-regexp 将范本样式为延伸的普通表示法来使用。
-f<范本文件>或--file=<范本文件> 指定范本文件，其内容含有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每列一个范本样式。
-F或--fixed-regexp 将范本样式视为固定字符串的列表。
-G或--basic-regexp 将范本样式视为普通的表示法来使用。
-h或--no-filename 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。
-H或--with-filename 在显示符合范本样式的那一列之前，表示该列所属的文件名称。
-i或--ignore-case 忽略字符大小写的差别。
-l或--file-with-matches 列出文件内容符合指定的范本样式的文件名称。
-L或--files-without-match 列出文件内容不符合指定的范本样式的文件名称。
-n或--line-number 在显示符合范本样式的那一列之前，标示出该列的列数编号。
-q或--quiet或--silent 不显示任何信息。
-r或--recursive 此参数的效果和指定“-d recurse”参数相同。
-s或--no-messages 不显示错误信息。
-v或--revert-match 反转查找。
-V或--version 显示版本信息。
-w或--word-regexp 只显示全字符合的列。
-x或--line-regexp 只显示全列符合的列。
-y 此参数的效果和指定“-i”参数相同。
--help 在线帮助。
3、grep实例
（1）过滤以m开头的行
[root@jzyue ~]# grep ^m test.txt
（2）过滤以k结尾的行
[root@jzyue ~]# grep k$ a.txt
（3）排除空行并打印行号
[root@jzyue ~]# grep -vn "^$" a.txt
（4）匹配任意一个字符，不包括空行
[root@jzyue ~]# grep "." a.txt
（5）匹配所有
[root@jzyue ~]# grep ".*" a.txt
（6）精确匹配
[root@jzyue ~]# grep "file" a.txt
（7）匹配有xyz的行
[root@jzyue ~]# grep "[xyz]" a.txt
（8）重复a三次
[root@jzyue ~]# grep "a{3}" a.txt
（9）匹配a至少出现3次最多出现5次
[root@jzyue ~]# grep -E "a{3,5}" a.txt
（10）至少出现1次或一次以上的
[root@jzyue ~]# egrep "a{1,}" a.txt
二、sed的用法
1、sed简介
- Stream Editor文本流编辑，sed是一个“非交互式的”面向字符流的编辑器。能同时处理多个文件多行的内容，可以不对原文件改动，把整个文件输入到屏幕,可以把只匹配到模式的内容输入到屏幕上。还可以对原文件改动，但是不会再屏幕上返回结果。
- Sed 要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
2、sed命令参数
-e 允许多项编辑
-n 只打印模式匹配的行
-i 直接修改对应文件
-r 支持扩展元字符
3、sed实例
（1）删除1-2行信息
[root@jzyue ~]# sed '1,2d' a.txt
（2）打印出/etc/passwd下第二行信息
[root@jzyue ~]# sed -n '2p' /etc/passwd
（3）打印出/etc/passwd下最后一行信息
[root@jzyue ~]# sed -n '$p' /etc/passwd
（4）修改网卡IP地址(111改为70)
[root@jzyue ~]# sed 's#111#70#g' /etc/sysconfig/network-scripts/ifcfg-eth0
（5）使用sed命令关闭selinux
[root@jzyue ~]# sed '7c SELINUX=Disable' /etc/selinux/config
（6）将a.txt第20行下添加ideapad
[root@jzyue ~]# sed -i '20a ideapad;' a.txt
（7）删除第21行信息
[root@jzyue ~]# sed '21d' a.txt
（8）删除所有行的信息
[root@jzyue ~]# sed '1,$d' a.txt
（9）为第二行到第六行添加注释信息
[root@jzyue ~]# sed -r '2,6s/.*/#&/' passwd.txt
三、awk的用法
1、awk简介
awk是一个优良的文本处理工具，linux及unix环境现有的功能最强大的数据处理引擎之一。awk进行逐行扫描文件，从第一行到最后一行，寻找匹配的行进行操作。
2、awk命令参数
-F：定义分隔符
3、awk实例
（1）匹配包含nologin的行
[root@jzyue ~]# awk '/nologin/' passwd.txt
（2）指定冒号为分隔符，显示第一列
[root@jzyue ~]# awk -F: '{print $1}' passwd.txt
（3）NR记录输入总的行号
[root@jzyue ~]# awk '{print NR,$0}' passwd.txt
（4）以root开头的行
[root@jzyue ~]# awk '/^root/' passwd.txt
（5）UID为0的列出来
[root@jzyue ~]# awk -F ":" '$3==0' /etc/passwd
（6）UID小于10的列出来
[root@jzyue ~]# awk -F: '$3 < 10' /etc/passwd
（7）常见的表达式
关系运算符
运算符 含义 示例
< 小于 x<y
<= 小于或等于 x<=y
== 等于 x==y
!= 不等于 x!=y
= 大于等于 x>=y
大于 x>y
（8）逻辑操作符
&&逻辑与 || 逻辑或 !逻辑非
匹配用户名为root并且打印uid小于15的行
[root@jzyue ~]# awk -F: '3<=15' /etc/passwd
匹配用户名为root或uid大于5000
[root@jzyue ~]# awk -F: '3>=5000' /etc/passwd
（9）条件判断
if语句格式:{ if(表达式)｛语句;语句;... ｝}
打印当前管理员用户名称
[root@jzyue ~]# awk -F: '{ if(1 "is adminisitrator"} }' /etc/passwd
统计系统用户数量
[root@jzyue ~]# awk -F: '{ if(3<1000){i++}} END {print i}' /etc/passwd
统计普通用户数量
[root@jzyue ~]# awk -F: '{ if($3>1000){i++}} END {print i}' /etc/passwd
（10）..else 语句格式: {if(表达式)｛语句;语句;... ｝else{语句;语句;...}}
awk -F: '{if(
3==0) {count++} else{i++} }' /etc/passwd
awk -F: '{if($3==0){count++} else{i++}} END{print " 管理员个数: "count ; print " 系统用户数: "i}' /etc/passwd
（11）循环语句
[root@jzyue ~]# awk 'BEGIN{ i=1; while(i<=10){print i; i++} }'
[root@jzyue ~]# awk -F: '{i=1; while(i<=NF){print0; i++}}' /etc/passwd
（12）1.4.13.10 统计2018年01月25日,8:30-9:00访问状态码是404*
[root@jzyue ~]# awk '
4<="[25/Jan/2018:19:00:00" &&
9]++} END {for(i in code){print i,code[i]}}' log.bjstack.log
[root@jzyue ~]# awk '
