9月2日 GNU awk 1

1、基本用法

awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
awk程序通常由:BEGIN语句块、能够使用模式匹配的通用语句块、END语句块,共3部分组成
program通常是被单引号或双引号中
选项:
-F指明输入时用到的字段分隔符
-v var=value: 自定义变量
awk的用法和sed很相似,都自带行的循环,可以一行一行的读取文件的内容进行处理,pattern指明处理哪一行,action匹配的内容进行什么处理动作。
sed [opption] 'script' file ,script=地址界定+命令
地址界定:1或者1,2或者1~2或者/pattern/或者/pattern1/,/pattern2/
pattern可以用正则表达式,表示匹配的行,或者匹配的第几行到第几行
awk [opption] 'program' file program=pattern+action
pattern也表示匹配的行,action表示对匹配的内容进行什么处理动作

2、基本格式

基本格式:awk [options] 'program' file…
program:pattern{action statements;..}
pattern和action:
•pattern部分决定动作语句何时触发及触发事件
BEGIN,END
•action statements对数据进行处理,放在{}内指明
print, printf
分割符、域和记录
•awk执行时,由分隔符分隔的字段(域、列)标记$1,$2..$n称为域标识。也就是$1代表第一列的值,$2代表第二列的值,$0为所有列,也就是整行。注意:和shell中变量$符含义不同
•文件的每一行称为记录。
•省略action,则默认执行print $0 的操作
print格式:print item1, item2, ...
要点:
(1) 逗号分隔符
(2) 输出的各item可以是字符串,也可以是数值;当前记录的字段、变量或awk的表达式
(3) 如省略item,相当于print $0

3、awk工作原理

第一步:执行BEGIN{action;… }语句块中的语句,执行的时候还没有读入文件的内容,和文件无关,后面不用跟文件名也可以,常用于打印表头。
第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
第三步:当读至输入流末尾时,执行END{action;…}语句块,当所有的行都处理完毕时执行此语句块,这里和文件有关系,指的是文件所有行都处理完之后进行的操作,后面要跟文件名,比如对所有的行进行汇总操作。
BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块

举例

[root@centos6 app]#awk -F: '{print $1}' /etc/passwd   ---只打印第一
列,-F指定输入时用到的字段的分隔符
[root@centos6 app]#df |awk '{print $5}'   ---没有-F默认空格做为分隔
符,并且空格可以为多个
Use%
3%
4%
1%
[root@centos6 sbin]#cat /etc/passwd|head -n2|awk -F: '{print $1,$3}'  
---默认是以空格做为输出分隔符
root 0
bin 1
[root@centos6 sbin]#cat /etc/passwd|head -n2|awk -F: '{print $1$3}' 
---如果什么都不加表示没有分隔符
root0
bin1
[root@centos6 sbin]#awk -F: '{print $1"\t"$3}' /etc/passwd  
---/t可以让列对齐,但前面的第一列太长的话也对齐不了,只是部分
对齐
root    0
bin 1
daemon  2
adm 3
[root@centos6 app]#df|awk '{print $1"---"$5}'    ---可以指定输出的分
割符,注意{}里面如果是变量不用双引号,但如果是字符串要用双引
号
Filesystem---Use%
/dev/sda2---3%
/dev/sda1---4%
/dev/sda3---1%
[root@centos6 app]#awk 'BEGIN{print 19/3}'  ---BEGIN语句不需要
读取文件内容,与文件无关,执行BEGIN语句时还没有读入文件内
容,只是打印表头
6.33333
[root@centos6 app]#cat /etc/passwd |head -n1|awk -v FS=":" '{print $1,$3}'   --- FS=":"是一个变量,指定输入分隔符
root 0
[root@centos6 app]#cat /etc/passwd |head -n1|awk -v FS=":" '{print $1FS$3}'   ---可以引用这个变量
root:0
[root@centos6 app]#fs=":";cat /etc/passwd |head -n1|awk -v FS=$fs '{print $1FS$3}'
root:0
[root@centos6 app]#cat /etc/passwd |head -n1|awk -v FS=":" -v OFS="---" '{print $1,$3}'   ---定义变量指定输入和输出分隔符
root---0
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,636评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,890评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,680评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,766评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,665评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,045评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,515评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,182评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,334评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,274评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,319评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,002评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,599评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,675评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,917评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,309评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,885评论 2 341

推荐阅读更多精彩内容

  • 转载 原文的排版和内容都更加友好,并且详细,我只是在这里贴出了一部分留作自己以后参考和学习,如希望更详细了解AWK...
    XKirk阅读 3,181评论 2 25
  • awk:报告生成器,格式化文本输出 内容: awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 a...
    BossHuang阅读 1,449评论 0 9
  • 本章主要学习内容awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 awk条件判断 a...
    楠人帮阅读 1,252评论 0 8
  • awk介绍awk变量printf命令:实现格式化输出操作符awk patternawk actionawk数组aw...
    哈喽别样阅读 1,541评论 0 4
  • awk: grep,sed,awk grep:文本过滤 sed:文本编辑 awk:文本格式化工具; 1 什么是aw...
    木林森阅读 1,760评论 0 16