【三剑客(grep、sed、awk)】笔试题—集合

一. 三剑客-基础部分题目

涉及到三剑客过滤,替换,取列操作

1. 选择

在给定文件中查找与条件相符字符串的命令及查找某个目录下相应文件的命令为：（多选）A C

A:grep 筛选
B:gzip
C:find  查找目录下文件

sort在给定文件中查找(筛选)与 设定条件相符字符串的命令为（A）

A：grep
B：gzip
C：find
D：sort

___D____命令可以从文本文件的每一行中截取指定内容的数据。

A：cp
B：dd
C：fmt
D：cut (剪切)

下面表述错误的是D

^表示开头，如^abc表示以abc开头的
$表示结尾如abc$表示以abc为结尾的
？表示前一个字符出现0或1次，如ab？c表示a与c之间可有0或1个b存在
+ 表示前一个字符出现0或多次。如ab+c表示a与c之间可有0或多个b存在
  1. 填空
    Unix中在当前目录下所有.cc 的文件中找到含有“lcx”内容的文件，命令为___
find -type f -name '*.cc'|xargs grep 'asiainfo'
find -type f -name '*.cc' -exec grep 'asiainfo' {} \;
grep 'asiainfo' \`find . -type f -name '*.cc'`

如果没有指定扩展名则直接使用
grep -rl 'lcx' ./*
-r 递归查询
-l  (小写字母L)只显示grep查找出来的文件

使用AWK指定分隔符的参数是___-F或-vFS=____

找出当前目录下包含127.0.0.1关键字的文件？

1.
grep '127.0.0.1' `find . -type f `
2.三剑客+反引号
sed -n '/127.0.0.1/p' `find . -type f`
awk '/127.0.0.1/' `find . -type f`
3.find+|xargs+三剑客
find . -type f|xargs grep '127.0.0.1'
find . -type f|xargs sed -n '/127.0.0.1/p'
find . -type f|xargs awk '/127.0.0.1/'
4.find -exec +三剑客
find .-type f -exec grep '127.0.0.1' {} \;
find .-type f -exec sed -n '/127.0.0.1/p' {} \;
find .-type f -exec awk '/127.0.0.1/' {} \;

删除/显示1.txt文件第3行到第10行的内容？

删除:
sed -n '3,10p' 1.txt
sed -i '3,10d' 1.txt 
awk '(NR>=3&&NR<=10)' 1.txt  \\把第三行到第十行排除
awk '(NR<3||NR>10)' lcx.txt \\ 小于第三行或者大于十行

显示:
sed -n '3,10p' 1.txt
awk 'NR==3,NR==7' 1.txt
awk 'NR>=3 && NR<=10' 1.txt
head -10 num.txt|tail -8

使用awk取出/etc/passwd第一列数据也就是取出用户名。

基础必备：
awk -F: '{print $1}' /etc/passwd
sed 's#:.*$##g' /etc/passwd
egrep -o '^[0-Z_-]+' /etc/passwd  \\[0-Z]==[a-zA-Z0-9]

提高：
egrep -o '^[^:]+' /etc/passwd
sed -r 's#(^[^:]+).*$#\1#g' /etc/passwd
awk '{gsub(/:.*$/,"");print}' /etc/passwd  
\\print 在 awk 中后面什么都不加表示 print $0
awk '{gsub(/:.*$/,"")}1' /etc/passwd

用命令行更改config.txt文件，把里面所有的“name”更改为“address”

sed 's#name#address#g' config.txt
awk '{gsub(/name/,"address")}1'  config.txt

利用vi/vim也可以替换：
:%s#name#address#g

写出查询file.txt以abc结尾的行

grep  'abc$' file.txt
sed -n ‘/abc$/p’ file.txt
awk '/abc$/' file.txt

删除file.txt文件中的空行

模拟环境:
echo -e 'lcx\nlcx\n\nalex\n \nalex\lidao lidao alex\n 
lcx\n\nlcxedu group 598972270' >file.txt

仅删除文件中的空行：
grep -v '^$' file.txt
sed  '/^$/d' file.txt
awk '!/^$/' file.txt

文件中的空行可能是只有空格的行
egrep -v '$| +$' file.txt
grep -v '^ *$' file.txt
sed -n '/^ *$/p' file.txt
awk '/^ *$/' file.txt

^ *$ 表示两种情况:
*表示前1个字符出现0次的时候:^$
*表示前1个字符出现1次及1次以上的时候:^ +$

打印file.txt文件中的第10行

sed -n '10p' 4.txt
awk 'NR==10' 4.txt 
head -10 file.txt|tail -1

删除/etc/fstab文件中所有以#开头的行，行首的#号及#后面的所有空白字符

空白字符：空格,多个空格,tab键

sed -r '/^#/s#\# *##g' /etc/fstab|cat -A \\查看一下行尾是否还有空白行
awk 'gsub (/^\# */,"");{print $1}' /etc/fstab|cat -A

此题可以分为两个题目:
1. 删除/etc/fstab 文件中所有以#开头的行的行首的# 号及#后面的所有空白字符
2. 删除/etc/fstab 文件中所有以#开头的行的行首的#号及#后面的连续的空白字符

可以分为两步:哪个是条件，哪个是动作
❑第 1 步找出以#开头的行
awk '/^#/{gsub(/^#|[ \t]+/,"")}1' /etc/fstab 
sed -r '/^#/s@^#|[ \t]+@@g' /etc/fstab

❑第 2 步在删除这一行中的空白字符和行首的井号
删除/etc/fstab 文件中所有以#开头的行的行首的# 号及#后面的连续的空白字符
 awk '{gsub(/^#[ \t]+/,"")}1' /etc/fstab
 sed -r 's@^#[ \t]+@@g' /etc/fstab

查找最后修改时间是3天前，后缀是*.log的文件并删除

find /tmp/ -type f -mtime +3 -name '*.log' |xargs  rm -f

find /tmp/ -type f -mtime +3 -name '*.log' -exec rm -f {} \;

\rm -rf `find /tmp/ -type f -mtime +3 -name '*.log' `

find /tmp/ -type f -mtime +3 -name '*.log' -exec rm {} +

find /lcx -mtime +3 -type f -name "*.log" -delete  \\ -delete删除

\\  \; -exec find 命令找出 1 个文件就把文件放在{}的位置
\\  +;如果-exec后面使用+ find会把前面找到的所有文件1次性的放在{}所在位置

查找文件中1到20行之间，同时将"aaa"替换为"AAA","ddd"替换"DDD"

sed -ne 's#a#A#g;s#d#D#g;1,20p' 2.txt 

sed '1,20y/ad/AD/' 2.txt   \\ y类似于tr的 1对1 替换 不能使用 a-z A-Z 范围

sed 's#[ad]#\U&#g' 2.txt  \\

tr 'ad' 'AD' <2.txt 

awk '{gsub(/a/,"A");gsub(/d/,"D");print}' 2.txt

awk 'NR>=1&&NR<=20{print toupper($0)}' 2.txt

awk 'NR==1,NR==20{print toupper($0)}' 2.txt

使用sed命令打印出文件的第一行到第三行

head -3  lidao.txt 

sed -n '1,3p'  lidao.txt 

awk 'NR>=1&&NR<=3' lidao.txt 

awk 'NR==1;NR==2;NR==3' lidao.txt

在/var/sync/log/cef_watchd-20080424.1og文件中查找大小写不敏感“mysql"字符串中的命令是

grep -iw 'mysql' /var/sync/log/cef_watchd-20080424.1og

sed -nr '/(mysql|MYSQL)/p' /var/sync/log/cef_watchd-20080424.1og

sed -nr '/(mysql|MYSQL)/Ip' /var/sync/log/cef_watchd-20080424.1og  \\sed中 I表示不区分大小写,极少用

awk -vIGNORECASE=1 '/[a-z]/' /var/sync/log/cefwatchd-20080424.log

为了在/var/sync/log 目录中查找更改时间在5日以前的文件井删除它们，linux命令是

find /var/sync/log  -type f -mtime +5 |xargs  rm -rf

find /var/sync/log  -type f -mtime +5 -exec rm -rf {} \;

rm -rf `find /var/sync/log  -type f -mtime +5`

把data目录及其子目录下所有以扩展名.txt结尾的文件中包含oldgirl的字符串全部替换为lcx.


sed -i 's#oldgirl#lcx#g' `find /data/ -type f -name '*.txt'`

find /data/ -type f -name '*.txt'|xargs sed -ni 's#lcx#oldgirl#gp'

写出删除abc.txt文件中的空行

sed '/^$/d' abc.txt
sed -n '/^$/!p' 1.txt
grep -v '^$' 1.txt

查看linux服务器ip的命令，同时只显示包含ip所在的行打印出来

ip a s eth0|sed -n '3p'|sed -r 's#^.*t ([0-9].*)/.*$#\1#g'  #sed多管道
ip a s eth0|sed -nr '3s#^.*t (.*)/.*$#\1#gp'  #用sed
ip a s eth0|awk -F'[/ ]+' 'NR==3{print $3}'   #用awk
ip a s eth0|sed -n '3p'|awk -F'[ /]+' '{print$3}'  #sed+awk
ip a s eth0|awk 'NR==3'|sed -r 's#^.*t (.*)/.*$#\1#g'  #awk+sed
ip a s eth0|grep  'inet '|sed -r 's#^.*t (.*)/.*#\1#g'  #grep+sed
ip a s eth0|grep  'inet '|awk -F'[ /]+' '{print $3}'  #grep+awk

用awk获取文件中第三行的倒数第二列字段

awk 'NR==3{print $(NF-1)}' 2.txt

有文件file1
请用shell查询file1里面空行的所在行号

grep -n '^$' file1.txt

awk '/^$/{print NR,$0}' file1.txt

sed -n '/^$/{=;p}' file.txt|sed 'N;s#\n# #g'

查询file1以abc结尾的行

grep  'abc$' file.txt
sed -n ‘/abc$/p’ file.txt
awk '/abc$/' file.txt

打印file文件第一行到第三行

head -3  lidao.txt 
sed -n '1,3p'  lidao.txt 
awk 'NR>=1&&NR<=3' lidao.txt 
awk 'NR==1;NR==2;NR==3' lidao.txt

显示file文件里匹配foo字串那行以及上下5行、显示foo及前5行、显示foo及后5行

grep -A5 'foo'  file.txt
grep -B5 'foo'  file.txt
grep -C5 'foo'  file.txt

echo "ABCDEF abtdefg" |sed -i s/c/t/g 这条命令是否正确？如若正确可能会显示什么样的结果？

不正确
-i 修改文件内容
no input files 
sed 无法找到要修改的文件

当前系统中没有任何文本编辑器（vi,emacs,vim,edit等），如何过滤掉注释行和空行查看/etc/ssh/sshd_config文件

sed -r '/^#|^$/d' /etc/ssh/sshd_config
sed -nr '/^$|^#/!p' /etc/ssh/sshd_config 
awk '!/^$|^#/' /etc/ssh/sshd_config 
grep  '^[a-Z]' /etc/ssh/sshd_config 
egrep -v '^$|^#' /etc/ssh/sshd_config

查找file.log文件中的包含关键字“helloworld”的内容，及其上下两行的内容重定向保存到1.txt。请写出命令

grep -C2  'helloworld' file.log >> 5.txt

二. 进阶题目:
需要用到awk数组和函数知识点

利用sed命令将test.txt中所有的回车替换成空格？

模拟环境：
echo -e 'lcx\nlcx\n\nalex\n \nalex\lidao lidao alex\n lcx\n\nlcxedu group 598972270' >file.txt

仅删除文件中的空行
grep -v '^$' file.txt
sed '/^$/d' file.txt
awk '!/^$/' file.txt

文件中的空行可能是只有空格的行
egrep -v '$| +$' file.txt
grep -v '^ *$' file.txt
sed -n '/^ *$/p' file.txt
awk '/^ *$/' file.txt

^ *$ 表示两种情况:
表示前1个字符出现0次的时候:^$
表示前1个字符出现1次及1次以上的时候:^ +$

从a.log文件中提取包含“WARNING”或“FATAL”，同时不包含“IGNOR”行，然后，提取以“：”分割的第五个字段

awk -F:  '/WARNING|FATAL/&&!/IGNOR/{print $5}'

找出ifconfig命令结果中的1-255之间的数值；

net-tools
ifconfig| egrep -o '[0-9]+'|awk '$0>=1 && $0<=255'

文件内容排序、文件行取唯一值的命令分别是？

sort 
uniq

用awk获取文件中第三行的倒数第二列字段

awk 'NR==3{print $(NF-1)}' file.txt

awk是一个很强大的文本处理工具，请使用awk统计当前主机的并发访问量

netstat -ant | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'

三. 老牛逼题目 15k+

有一个文件nginx.log，请用awk提取时间（HH:MM）,文件内容如下：
183.250.220.178|-l[20/jul/2017:10:35:14 +0800]|POST /audiosearch/search
HTTP/1.1|200|54|-lDalvik/1.6.0（linux;U;Android 4,4,4;Konka Android TV 638
Build/KTU84P）|-l-[5.069|5.001,0.005|www.kuyun.com|8771|172.21.19.67:8084,172.21.19.66:8084]
183.250.220.178|-l[20/jul/2017:10:35:14 +0800]|POST /audiosearch/search
HTTP/1.1|200|54|-lDalvik/1.6.0（linux;U;Android 4,4,4;Konka Android TV 638
Build/KTU84P）|-l-[5.069|5.001,0.005|www.kuyun.com|8771|172.21.19.67:8084,172.21.19.66:8084]


统计apache访问日志流量排名前10个IP

统计出apache的access.log 中访问最多的5个ip
awk '{h[\$1]++}END{for(po in h) print po,h[po]}' access.log |awk '{print $2,$1}' |sort -rn|head -5  sort -rn 以相反的顺序依照数值大小排序


这条linux命令的含义：netstat -n |awk '/^tcp/ {++} print a,${a} }'
该命令执行不了

使用awk分析日志（最后一个字段是IP，统计访问量前十的IP，并进行排序）

awk -F: '/WARNING|FATAL/&& !/IGNOR/{print \$5}' a.log

统计nginx日志访问前十的IP地址

[root@lcx01 ~]# awk '{print $1}' /var/log/nginx/access.log|uniq -c|sort -rn|head -10
      7 190.202.89.69
      5 80.82.77.33
      2 66.249.64.84
      2 200.100.151.56
      1 89.43.143.4
      1 89.120.16.200
      1 85.104.83.139
      1 80.82.70.187
      1 66.249.64.82
      1 64.233.172.87
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 199,175评论 5赞 466
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 83,674评论 2赞 376
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 146,151评论 0赞 328
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 53,597评论 1赞 269
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 62,505评论 5赞 359
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 47,969评论 1赞 275
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,455评论 3赞 390
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,118评论 0赞 254
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,227评论 1赞 294
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,213评论 2赞 317
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,214评论 1赞 328
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,928评论 3赞 316
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,512评论 3赞 302
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,616评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,848评论 1赞 255
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,228评论 2赞 344
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 41,772评论 2赞 339

推荐阅读更多精彩内容

  • [面试题]老男孩教育-三剑客笔试题集合
    答案入群索要文档和答案 一. 三剑客-基础部分题目 涉及到三剑客过滤,替换,取列操作 1. 选择 在给定文件中查找...
    李导996阅读 6,359评论 5赞 23
  • shell
    第 2 章 SHELL 基础知识2.1 shell脚本我们在上面简单介绍了一下什么是shell脚本，现在我们来进一...
    LiWei_9e4b阅读 1,547评论 0赞 0
  • 第十三课 linux文本处理三剑客之sed
    grep擅长查找，awk擅长分析（select），sed擅长批量编辑行概述SED的英文全称是 Stream EDi...
    Arroganter阅读 1,065评论 0赞 7
  • sed与awk实例
    sed与awk实例 文本间隔 在每一行后面增加一空行 将原来的所有空行删除并在每一行后面增加一空行。这样在输出的文...
    stuha阅读 1,866评论 0赞 21
  • 自用学习题
    1 在32位操作系统最大可以使用___G内存 2. 多核CPU和单核CPU的优点和缺点，是否所有程序在多核CPU上...
    喂00阅读 781评论 0赞 0