grep为什么那么快

grep简介

在Linux里面,如果按照使用频率给命令排个序,那么grep绝对榜上有名。

grep的全称是Global Expression Print,用于正则表达式匹配文本,并把匹配到的行打印出来。

命令的基本形式是:

grep [option] pattern file

此处的file并不一定是特指某个文件,准确来说是指,任何的输入流。所以时常grep会合别的命令结合在一起来使用,例如查找Java进程:

ps -ef | grep java

在我机器上的输出是:

501 25223 16384   0  7:05下午 ttys002    0:00.00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-dir=.hg --exclude-dir=.svn java

grep作为一个基本工具,其性能是极高的:


image

现在我们就要思考一下,为什么grep会那么快呢?

grep那么快,就两个原因:

  • 快的算法
  • 快的输入。

我们先讨论快的算法。

字符串检索

我们先来了解一下字符串搜索,即如何在一个字符串中找到我们所需要的字符串,或者说子串。这些字符串一般都是符合某个规则,通常而言是使用正则表达式来进行描述。

在字符串检索里面,鼎鼎有名的就是Boyer-Moore字符串检索算法了额。这个算法阮一峰有过很精彩很简洁的介绍,地址是:

http://www.ruanyifeng.com/blog/2013/05/boyer-moore_string_search_algorithm.html

也可以阅读Moor教授对算法的介绍:

http://www.cs.utexas.edu/~moore/best-ideas/string-searching/fstrpos-example.html

我这里总结一下阮一峰文章的精髓:

这个算法的核心是“坏字符规则”和“好后缀规则”。

坏字符规则

坏字符是指,无法匹配上模式的字符,例如:


image

S和E无法匹配上,也就是一个坏字符。
而所谓坏字符规则就是:

后移位数 = 坏字符的位置 - 搜索词中的上一次出现位置

所以下一次的匹配应该变成了:


image

在上图的情况下,可以进一步将字符串后移,将P对齐:


image

好后缀规则

image

这种所有尾部都匹配的字符串就叫做好后缀。当好后缀遇到第一个不匹配的字符的时候,在上图中也就是I和A,那么移动位数是:

后移位数 = 好后缀的位置 - 搜索词中的上一次出现位置

这就是Boyer-Moor算法的核心。

我们可以简单分析一下Boyer-Moor算法的效率。它是O(n)的,但是很多情况下,它并不需要遍历文本里面的每一个字符。

实现技巧

主要是使用了两个技巧:

  1. 循环展开。GNU grep将Boyer-Moor算法的内层循环展开了;
  2. 建立了一个jump table,也叫做delta table。通过该表可以避免进行循环退出判断了;

快的输入

grep在这方面所进行的优化,即使用系统调用,以避免数据拷贝的开销。

这是一种常见的优化手段,比如在Java NIO里面也使用到了类似的技术手段以避免数据从内核态拷贝到用户态,再由用户态拷贝到内核态

第二个优化是避免了对输入进行分行。grep直接将文本放在Buffer之中进行处理,在找到了匹配的字符串之后,再去查找里面有没有换行符。因为查找换行符是一个可怕的操作,这意味着需要逐个字符查找。

后记

原文是https://lists.freebsd.org/pipermail/freebsd-current/2010-August/019310.html#

邮件里面还提到一个东西,即Fast String Search,这是一个关于Boyer-Moor算法实现优化的论文。我表示这篇论文没怎么读懂,我就不误人子弟了。

下载链接是:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.13.9460&rep=rep1&type=pdf

可以翻墙的同志可以看这个视频,对Boyer-Moor算法的讲解还是很好的:

https://www.youtube.com/watch?v=4Xyhb72LCX4
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容

  • 参考文章 知乎:如何更好的理解和掌握 KMP 算法?从头到尾彻底理解KMPKMP 算法(1):如何理解 KMP(原...
    Mjolnir1107阅读 974评论 0 0
  • 官网 中文版本 好的网站 Content-type: text/htmlBASH Section: User ...
    不排版阅读 4,367评论 0 5
  • 字符串匹配KMP算法详解 1. 引言 以前看过很多次KMP算法,一直觉得很有用,但都没有搞明白,一方面是网上很少有...
    张晨辉Allen阅读 2,385评论 0 3
  • 由于是毕业后转行的原因,所以本人在工作之前没有系统的学过数据结构、算法导论之类的课。说白了就是没有这样的底蕴,哈哈...
    张晨辉Allen阅读 692评论 0 0
  • 建议存下来,每读一次,进步十分! 1.有人在说某人坏话时,你只微笑。 2.不要把过去的事全让人知道。 3.说话的时...
    li冰bing阅读 180评论 0 0