Awk使用详解

1. awk的使用模式

1.1 基本的命令说明

awk 'BEGIN {初始化}  Pattern1 {处理} ... PatternN {处理}  END {清理}' 文件

初始化: 只在开始的时候被调用一次
处理: 匹配Pattern的每一行调用一次，不提供Pattern表示匹配所有行，Pattern可以提供任意个
清理: 所有行数据处理完后执行一次

注意事项:

awk后面的命令语句只能使用单引号
BEGIN和END可以理解为两种特殊的Pattern，只在开始和结尾的时候匹配一次

1.2 awk有3种使用方式

命令行模式，将awk命令放到单引号内('') ，比如 awk '{print($1);}' input
单独文件，将命令放到文件中，比如: script.awk，文件内容: {print($1);}，然后在命令中引用文件awk -f script.awk input
==shell方式，暂时没弄明白==

2. Pattern的类型

BEGIN和END是特殊的Pattern，除此以外可以使用的Pattern还有3种: 正则表达式、布尔操作、特殊模式

2.1 正则表达式

/admin/ 
/^admin/ 
/admin$/ 
/^[0-9.]+ / 
/(POST|PUT|DELETE)/ 
$2 ~ /[0-9]+/ && $3 !~ /[a-z]+/ && $2 > 189000

正则以两个反斜杠包围，使用/.../
默认用整行数据去匹配，可以匹配其中一部分即可
中括号表示候选值，比如[0-9.]
可以指定变量去匹配、不匹配，使用 ~ /../和!~ /.../

2.2 布尔操作符

支持与或非操作, 使用&& || !
支持数据比较，使用> >= < <= ==
支持文本比较，使用==
支持正则匹配，使用~ !~

2.3 特殊模式

BEGIN、END分别匹配开始和结尾
使用变量值，比如使用分割后的第二个字段: /admin.html$/ && $2 == "DELETE"

这里的变量值可以是awk的任意内置变量，如我们需要大于第一个行或匹配特定正则的行，我们可以这样写:

ps -ef | awk 'NR ==1 || /line-match/ {print $0;}'

3. 程序的结构

awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

3.1 方法调用

{ print $0; }

3.2 退出，类似与Java里的break

{ exit; }

3.3 下一个循环，类似于Java里的continue

{ next; }

3.4 赋值

{ a=$1; b=$0 } 
{ c[$1] = $2 }

3.5 分支

{ 
    if (BOOLEAN) { 
        ACTION 
    } else if (BOOLEAN) { 
        ACTION 
    } else { 
        ACTION 
    } 
}

3.6 循环

{ 
    for (i=1; i<x; i++) { 
        ACTION 
    } 
}

3.7 循环in

{ 
    for (item in c) { 
        ACTION 
    } 
}

4. 函数定义

function name(parameter-list) {
    ACTIONS; # same actions as usual
}


function add1(val) {
    return val+1;
}

5. 内置变量

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名

NF                 浏览记录的域的个数
NR                 已读的记录数
FNR                浏览文件的记录数

FS                 设置输入域分隔符，等价于命令行 -F选项
RS                 控制记录分隔符

OFS                输出域分隔符
ORS                输出记录分隔符

$0                 当前行
$1..$n             用FS分割后的第1到n个字段

6. 内置函数

6.0 awk内置函数说明

http://www.gnu.org/software/gawk/manual/gawk.html#Functions

6.1 printf，类似与c/Java里的printf

awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%sn",FILENAME,NR,NF,$0)}' /etc/passwd
awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt

6.2 print 打印

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

6.3 split 切分字符串

tail -10 WebAdWatchLog_2019091613.log  | cat -A | awk '{b=split($0,a,"\\^A");print($0);print(a[b]);}'

6.4 match 正则抽取

$cat as.sh | awk -p '/[Aa]ttach/ {idx=match($0,/([Aa]ttach_([a-z]+))/,arr) ;if(idx != 0) print $0, arr[1], arr[2];}'
attach_jvm()  attach_jvm   jvm

6.5 index length substr 查找子串、计算字符串长度、字符串截取

$cat as.sh | awk -p '/[Aa]ttach/ {idx=index($0,"attach_jvm");
if(idx >0) { print $0, idx, idx + length("attach_jvm"),  substr ($0, idx + length("attach_jvm")); }}'

attach_jvm() 1 11 ()

index( $0,"attach_jvm") 计算$ 0中attach_jvm的位置，返回值从1开始，0表示没找到
length(str) 计算字符串长度
substr( $0, idx,[length]) 从$ 0的idx位置开始，截取length个字符，不传length则截取到最后

7. 使用场景

7.1 使用\u0001做分隔符

cat 000000_0 | awk 'BEGIN{FS="\x01"} {print $1}' | head -10