grep
grep适合单纯的查找或匹配文本。
1、grep的参数
--color=atuo或者—color:对匹配到的文本着色
-i:忽略大小写
-n:显示结果所在行号
-c:统计匹配到的行数。注意:是匹配到的总行数,不是匹配到的次数
-o:只显示符合条件的字符串,但是不整行显示。每个符合条件的字符串单独显示一行
-v:接啥排除啥
-w:匹配整个单词,如果是字符创中包含这个单词,则不会匹配
-Ax:输出的时候包含结果所在行之后的指定行数,x是行数,A:after。如果有多个匹配结果。则每个结果的后x行都会显示
-Bx:输出的时候包含结果所在行之前的指定行数,x是行数,B:before。
-Cx:输出的时候包含结果所在行之前和行之后的指定行数,x是行数,C:context
-e:实现多个选项的匹配,逻辑or关系
-q:静默模式,不输出任何信息。于“echo $?”合用,查看是否匹配到,0表示匹配到,1表示没有匹配到
-P:使用兼容的perl的正则
-E:使用扩展正则表达式,同egrep
-e的使用
grep –e’one’ –e’two’ file # 可以同时匹配one和two
练习题
1、将/etc/passwd 文件的前10行输入到passwd中,将passwd变为只有单词/字母存在的文本
sed -nr 's#[:/0-9]+# #gp' passwd.txt #对passwd.txt文件进行处理,将 FS 变为空格
2、将/etc/passwd 文件的前10行输入到passwd中,计算文件中每个单词的重复数量
sed -nr 's#[:/0-9]+# #gp' passwd.txt | sed -nr 's# #\n#gp' | sort | uniq -c | sort –nr
l sed -nr 's#[:/0-9]+# #gp' passwd.txt #对passwd.txt文件进行处理,将 FS 变为空格
awk 'BEGIN{RS="[:/0-9]+"}{print $0}' passwd.txt | head -n -1 | sort | uniq -c | sort -nr # head -n -1 是因为最后一行是空行,需要排除
3、从处理过的passwd文件中,找出第一列有1—2个o的行,并打印行号
awk使用{m,n},需要加--posix
awk --posix ‘1}’passwd
4、统计某一文件里空行的数量
sed -nr 's#^$##gp' file | wc -l
grep "^$" file |wc -l
awk '/^$/{a=a+1} END{print a}' file
5、以 : 为分隔符,统计/etc/passwd文件中$3>5的行数
awk -F: '{$3>5?a++:b++} END{print a}' /etc/passwd
awk -F: '0} END{print a}' /etc/passwd
6、找出环境变量$PATH中,所有只有三个任意字符的命令,如tee,并将它们重定向到command.txt中。每行显示1一个,并统计总个数
find PATH | tr ":" "\n") -type f -name "???" 1> command 2>/dev/null;wc -l command
7、处理以下文件内容,将域名取出,并根据域名进行技术排序处理(去重)
http://post.cbl.org/index.html
awk -F "/" '{a[$3]++} END{for(i in a){print i,a[i]}}' test
8、处理以下文件内容,去重
111 222 333 444 222 222 111 111 11 11
22 33 44 55 33 33 55 22
77 88 77 77 88 99 33 33
awk '{for(i=1;i<=NF;i++)a[$i,NR]++} \
{for (j in a) {split(j,m,SUBSEP);if(m[2]==NR)printf m[1]" "} printf "\n"}' test
l a[$i,NR]:二维数组
l for (j in a):遍历,j是二维数组
l split(j,m,SUBSEP):切割二维数组,SUBSEP是切割二维数组的分隔符
l printf m[1]:如果使用print,则每个m[1],都会自动换行。printf不会,print需要自定义格式
l printf "\n":换行。awk是一行一行处理的,一行处理完,换行,美化输出