使用awk解析url参数

问题描述：
线上nginx日志格式如下:"60.10.97.182 - - [23/Nov/2014:08:46:07 +0800] "GET /ph/login_v13.php?version=14&gid=A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-""
需要找出crystals > 100w 或者 coins>1000w 或者 coins> 10w的gid。

首先，你得熟悉awk的用法，awk简明教程；

其次，解析url参数，只用到了awk -F的用法和awk中$N的含义，所以还是很简单的，去看上面那个教程即可；

最后，这种方法有一个限制。

输入日志为log1.txt,
<pre>
mohe@mohe's mac:~/Downloads head -5 log1.txt
</pre>
结果为：
<pre>
60.10.97.182 - - [23/Nov/2014:08:46:07 +0800] "GET /ph/login_v13.php?version=14&gid=A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
60.10.97.182 - - [23/Nov/2014:08:57:44 +0800] "GET /ph/login_v13.php?version=14&gid=A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
114.242.250.119 - - [23/Nov/2014:13:40:33 +0800] "GET /ph/login_v13.php?version=14&gid=862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=1138&coins=1127420&gcoins=86 HTTP/1.1" 200 670 "-" "-"
114.242.250.119 - - [23/Nov/2014:14:07:52 +0800] "GET /ph/login_v13.php?version=14&gid=862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=383&coins=1125890&gcoins=86 HTTP/1.1" 200 670 "-" "-"
221.222.205.225 - - [23/Nov/2014:14:26:22 +0800] "GET /ph/login_v13.php?version=14&gid=357747050991137&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=0&coins=0&gcoins=0 HTTP/1.1" 200 670 "-" "-"
</pre>

我们首先解析gid
<pre>
awk -F '&gid=' '{print $2}'
</pre>
结果为以'&gid'分割每行记录的第二部分：
结果就是：
<pre>
A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=1138&coins=1127420&gcoins=86 HTTP/1.1" 200 670 "-" "-"
862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=383&coins=1125890&gcoins=86 HTTP/1.1" 200 670 "-" "-"
357747050991137&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=0&coins=0&gcoins=0 HTTP/1.1" 200 670 "-" "-"
</pre>
下面我要做什么你应该要猜到了：

gid的后面接的参数不就是：为以'&gid'分割每行记录的第二部分(即脚本中的$2)为输入，
再使用以'&cfgv='分割记录的第一个部分(即脚本中的$1)就可以了。let's go
<pre>
awk -F '&gid=' '{print $2}' log1.txt | awk -F '&cfgv=11' '{print $1}' | head
</pre>
结果为
<pre>
A0000040573D0F
A0000040573D0F
862243020326305
862243020326305
357747050991137
357747050991137
355637058901786
865173020351556
A0000040573D0F
A0000040573D0F
</pre>
这样gid就搞定了。

• 首先拿到所有gid,重定向到gid
  <pre>
  awk -F '&gid=' '{print $2}' log1.txt | awk -F '&cfgv=' '{print $1}' > gid
  </pre>

• 其次，拿到crystals
  <pre>
  awk -F '&crystals=' '{print $2}' log1.txt | awk -F '&coins=' '{print $1}' > crystals
  </pre>

• 接着，拿到coins
  <pre>
  awk -F '&coins=' '{print $2}' log1.txt | awk -F '&gcoins' '{print $1}' > coins
  </pre>

• 别急，还有gcoins
  <pre>
  awk -F '&gcoins=' '{print $2}' log1.txt | awk -F 'HTTP/1.1' '{print $1}' > gcoins
  </pre>

现在一共有四个文件，使用paste命令，将其粘贴一起；
<pre>
paste gid crystals coins gcoins > res
</pre>

最后,只要你熟悉了awk的逻辑运算符，简单到爆
<pre>
awk '$2 > 1000000 || $3 > 10000000 || $4 > 100000' res1 > res2 %%找出满足条件的记录
awk '{print $1}' res2 %打印第一列
</pre>

one more thing，还需要对于gid去重
<pre>
sort | uniq -c | sort
</pre>
uniq
uniq 在读取行时会对它们进行比较并将只除去两个或更多的连续行，所以使用uniq之前一定要排序
输出重复出现的文本，-c加上次数,
sort -r -n
按照升序排列，数字排序

这种方法的限制其实再做法中可以看出，url几个参数的位置一定要确定。如果url参数乱序，那么你得用下面得数据,activityId为需要的参数
<pre>
grep -oP '(?<=activityId=)[^&&]+'
</pre>
方法来自一个前厂的一个半神，也就是说使用grep也能干这件事

2016/5/16 补充
求平均数
<pre>
cat 2 | awk '{sum+=$1} END {print "Average = ", sum/NR}'
</pre>

如果是二进制文件grep，需要加上参数-a
<pre>
grep -a "time cost :" access_* | awk '{print $5}' > 2
</pre>