linux-awk

2017-05-11

来源：

  1. http://man.linuxde.net/awk
  2. 沈剑老师的公众号

awk是一种编程语言， 用于在linux、unix下对文本和数据进行处理， 数据可以来自标准输入(stdin)， 一个或多个文件， 或其他命令输出， 它支持用户自定义函数和动态正则表达式等先进功能， 是linux/unix下的一个强大编程工具， 它在命令行中使用， 但更多是作为脚本来使用。awk有很多内建功能，比如数组、函数等， 这是它和C语言的相同之处， 灵活性是awk最大的优势。

awk命令格式和选项

原理：

逐行处理文件中数据

awk 'BEGIN{commands} pattern{commands} END{commands}'

**BEGIN语句块在awk开始从输入流读取行之前被执行， 这是一个可选的语句块， 比如变量初始化、打印表格表头等语句
**

**END语句块在awk从输入流读完所有的行之后被执行，比如打印所有行的分析结果这类信息汇总走势在END语句块中完成，他也是一个可选语句块
**

**pattern语句块中的通用命令是最重要的部分，直接作用于文件的每一行数据，它也是可选的， 如果没有提供pattern语句块，则默认执行{print}， 打印每一行
**

语法：

awk 'pattern + {action}'
# awk '模式 + {操作}' 模式可以省略, 将模式写入{command}中
awk 'NR==20{print $1, $2}'
awk '{if(NR==20)print $1, $2}'

说明：

  • 单引号 是 为了和shell命令区分开
  • **大括号{}标识一个命令分组 **
  • pattern是一个过滤器， 表示命中pattern的行才能进行action操作 BEGIN等语句在pattern中
  • atcion是处理动作
  • 使用#作为注释

常用命令选项：

  • -F fs fs指定分割符,默认空格,fs可以是字符串或正则表达式，如-F:

  • -v var=value 复制一个用户定义变量， 将外部变量传递给awk

  • -f scripfile 从脚本文件中读取awk命令

  • -m[fr] val 对val值设置内在限制(标准awk不适用)

    -mf 设置给val的最大块数目

    -mr 限制记录的最大数目

模式:

  • /正则表达式/ : 使用通配符的扩展集
  • 关系表达式: 字符串或数字比较操作 == 、!= 、 > 、 => 等
  • 模式表达式: ~(匹配于) 、 ~！
  • BEGIN / pattern / END语句块:

操作:

**操作是由一个或多个命令、函数、表达式组成，之间由换行符或者分号隔开，并位于{}内**

  • 变量或者数组赋值

    • 赋值 count=0

    • 数组:

        #awk数组不必提前声明，也不必声明大小， 数组元素用0或者空字符串来初始化， 这根据上下文而定, awk数组可以用数字或者字符串作为下标(其实类似python、java中字典)

  Array[1]="sun"
  Array[2]="kai"
  Array["first"]="www"
  Array["last"]="name"
  
  #读取数组的值
  
  {for(item in array) {print array[item]}; } #输出顺序是随机的
  {for(i=1;i<=len;i++) {print array[i]};}  # len是数组的长度
  
  # 数组的长度
  
  awk 'BEGIN{info="it is a test";lens=split(info, tA, " ");print length(tA), lens;}'
  # 4 4           
  awk 'BEGIN{info="it is a test";lens=split(info, tA, " ");print asort(tA);}'
  # asort对数组排序函数， 本身也返回数组长度(asort函数没定义？？？)
  
  # 数组读取
  
  awk 'BEGIN{info="it is a test";lens=split(info, tA, " ");for(k in tA){print k, tA[k];}}'
  # 随机输出  for k in tA  k是键值， 这点和python字典中一样
  # 2 is
  # 3 a
  # 4 test
  # 1 it
  
  awk 'BEGIN{info="it is a test";lens=split(info, tA, " ");for(k=1;k<=lens;k++)print k, tA[k];}'
  # 按顺序输出， 很像C语言，有木有，一样的;结束，一样的大括号战役(只有一句可以省略{},但是操作外面的{}必须有)， 但是注意数组下标从1开始
  
  # 啊？ 如果想删除数组的键值怎么办(数组这个词怪怪的，类似字典)
  delete Array['a']
  
  #判断是否包含
  if("a" in Array) print "ok"         
  
  ## 二维数组： 除了不用预先声明外， 赋值神马的和C语言一样

  • 输出命令

  • 内置函数

    • gsub(Ere, Repl, String): 在String, 用Repl替换掉Ere， 原位置替换，String被改变

        awk '{gsub(r, s)}'      # 在$0中用s替代r,  默认Sring=$0
  
  awk 'BEGIN{info="this is a test2010test!";gsub(/[0-9]+/, "!", info);print info}'

    • index(s, t): 返回s中t的第一个位置, 没有找到回0

    • length(s): s的长度(字符形式， 中文算一个)

    • blength(s): s的长度(字节形式， 和编码有关)

    • match(String, Ere): String是否匹配Ere 未找到, 返回0

    • split(s, a, fs): 在fs上将s分成序列a, a是一个数组，fs是分隔符，缺省为空格 函数本身返回数组的长度

    • substr(s, p): 返回s从p开始的子串

    • tolower(String) 返回小写String

    • toupper(String)

    • printf(Format, Expr, Expr) 格式化字符串输出

    • print 普通正常输出， 加不加括号都行

        %d %u %f %s %c %p %e %x %o %g  复习C，一模一样 %g 自动选择合适的表示法
  awk 'BEGIN{n0="金价为";n1=124.113;n2="较昨日上涨";n3=-1.224;printf("%s%.2f,%s%g\n", n0, n1, n2, n3);}'

  • 控制语句

    • 条件判断

        if(....)
      {....}
  else
      {....}

    • 循环

        while(....)
      {....}
      
  for(k in Array)  # 注意k是键值，并不是数组的内容
      {....}
  for(k=0;k<=20;k++)
      {....}
      
  do(....)
  while(条件)
  
  break
  continue
  next ??
  exit 使程序中断直接到END语句块， 如果在END中出现， 则终止脚本

内置变量：

  • FS 分隔符，默认空格
  • NR 当前行数，从1开始
  • NF 当前记录字段个数 依次类推 $NF $(NF-1)
  • $0 当前记录 全行
  • $1~$n 当前记录的第n个字段 当前行第几个字段从1开始(注意是字段，以默认FS分割开的)

exp:

cat test | awk '/.*?山$/' 
awk '/^亏/'  test
# 显示匹配hello的行， action默认即为print

# 这个我们可以改写成在模式里面用match函数匹配
awk '{print match($0, /[0-9]+/)?"ok":"no found";}' test
# ?: 符号也是C里面的, /[0-9]+/ 是正则匹配， 输出匹配结果呢？如下， 省略BEGIN语句块
awk '{if(match($0, /山/))print $0}' test


cat hello.txt | awk 'length($0) > 80{parint NR}'
# 打印长度大于80的行数， 注意打印的是行数 print NR行数，如果想打印本身$0
cat hello.txt | awk 'NR==3, NR==5{print $1, $NF}'
# 打印3 ，5 行第一列和最后一列
cat test | awk -F， 'NR==36446{print $1, $NF}'
# 改为中文逗号分割 等同于：
awk -F， 'NR==36446{print $1}' test 
# 或者在BEGIN配置需要的变量,然后pattern选择条件 {command}处理
awk 'BEGIN{FS="，"}NR==36446{print $1}' test 
awk 'BEGIN{FS="，"}{if(NR==36446)print $1}' test

其它

  • 输出到一个文件

      awk 'BEGIN{FS="，"}length($0)>=20{print $1}' test > test2
  awk 'BEGIN{FS="，"}length($0)>=20{print $1 > "test2"}' test
  awk 'BEGIN{FS="，"}length($0)>=20{print $1 >> "test2"}' test
  # 这三句效果一样

  • 读取外部输入

    • getline

        awk 'BEGIN{"date" | getline out; print out;}' test
  awk 'BEGIN{"date" | getline out; split(out, mon);for(k in mon)print k, mon[k]}'
  awk 'BEGIN{"date" | getline out; lens=split(out, mon);for(k=1;k<=lens;k++)print                         k, mon[k]}'                     
  
  awk 'BEGIN{while("ls" | getline) print}'  
  #用while语句 对ls的输出逐行处理(在正式处理输入前)， 如果不用while的话默认是第一行
  awk 'BEGIN{"ls" | getline; print}' 
  
  #用户手动输入
  awk 'BEGIN(print "Enter your name:";getline name; print name)'")}'

  • 打开外部文件： 依然是利用管道 + getline来交互

      awk 'BEGIN{while("cat test"|getline out)print $0;close("test")}'
  # 这样子是打不出来的， 管道传递的值都给out了，$0每行都是空
  awk 'BEGIN{while("cat test"|getline out)print out;close("test")}'
  awk 'BEGIN{while("cat test"|getline)print $0;close("test")}'

  • 调用外部应用程序 调用shell命令

    • system("....") 调用linux命令， 返回liunx输出结果

        awk 'BEGIN{b=system("ls -al");print b;}'
  # 最后为啥会有个0 ？？ 求解释？？
  # 或者我们可以利用管道更简单些
  awk 'BEGIN{"date"|getline b; print b}'

  • 时间函数

    • mktime(YYYY MM dd HH MM ss[DST]) 生成时间格式

    • strftime([format [, timestamp]])

    • systime() 得到时间戳

        awk 'BEGIN{tstamp=mktime("2001, 01 01 12 12 12");print strftime("%c", tstamp);}'
  # awk version 20070501中没有mktime的函数， 2001年....

写了很多，但是常用的应该是BEGIN{}pattern{}END{}来处理常规的文本数据，日期什么的直接shell就好了
更多详细数据格式 http://man.linuxde.net/awk

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 205,033评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,725评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,473评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,846评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,848评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,691评论 1赞 282
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,053评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,700评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 42,856评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,430评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,034评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2赞 343

推荐阅读更多精彩内容