Linux文本处理三剑客之--- sed的使用教程

sed

3.1 认识sed

sed 是一种流编辑器,它一次处理一内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(patternspace ),接着用sed 命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。然后读入下行,执行下一个循环。如果没有使诸如‘D’ 的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间。这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出或-i

功能:主要用来自动编辑一个或多个文件, 简化对文件的反复操作

3.2 使用sed

3.2.1 命令格式

sed [options] '[地址定界] command' file``(s)

3.2.2 常用选项options

  • -n:不输出模式空间内容到屏幕,即不自动打印,只打印匹配到的行
  • -e:多点编辑,对每行处理时,可以有多个Script
  • -f:把Script写到文件当中,在执行sed时-f 指定文件路径,如果是多个Script,换行写
  • -r:支持扩展的正则表达式
  • -i:直接将处理的结果写入文件
  • -i.bak:在将处理的结果写入文件之前备份一份

3.2.3 地址定界

  • 不给地址:对全文进行处理
  • 单地址:
    • #: 指定的行
    • /pattern/:被此处模式所能够匹配到的每一行
  • 地址范围:
    • #,#
    • #,+#
    • /pat1/,/pat2/
    • #,/pat1/
  • ~:步进
    • sed -n '1~2p' 只打印奇数行 (1~2 从第1行,一次加2行)
    • sed -n '2~2p' 只打印偶数行

3.2.4 编辑命令command

  • d:删除模式空间匹配的行,并立即启用下一轮循环
  • p:打印当前模式空间内容,追加到默认输出之后
  • a:在指定行后面追加文本,支持使用\n实现多行追加
  • i:在行前面插入文本,支持使用\n实现多行追加
  • c替换行为单行或多行文本,支持使用\n实现多行追加
  • w:保存模式匹配的行至指定文件
  • r:读取指定文件的文本至模式空间中匹配到的行后
  • =:为模式空间中的行打印行号
  • !:模式空间中匹配行取反处理
  • s///查找替换,支持使用其它分隔符,如:s@@@,s###;
    • 加g表示行内全局替换;
    • 在替换时,可以加一下命令,实现大小写转换
    • \l:把下个字符转换成小写。
    • \L:把replacement字母转换成小写,直到\U或\E出现。
    • \u:把下个字符转换成大写。
    • \U:把replacement字母转换成大写,直到\L或\E出现。
    • \E:停止以\L或\U开始的大小写转换

3.3 sed用法演示

3.3.1 常用选项options演示

qinwj 14:42:14 R290-1: /mnt/X500/farmers/qinwj
$ cat demo 
aaa
bbbb
AABBCCDD
  • p:打印当前模式空间内容,追加到默认输出之后:匹配到的行会打印一遍,不匹配的行也会打印
$ sed /aa/p demo 
aaa
aaa
bbbb
AABBCCDD
  • -n 不显示没有匹配到的行
$ sed -n /aa/p demo 
aaa
  • -e 类似于多匹配; sed -e "s/a/A/ demo 表示将demo 文件里面的a,变成A, 且只替换遇到的第一个
$ sed -e "s/a/A/" -e "s/b/B/" demo
Aaa
Bbbb
AABBCCDD
  • -f 使用文件来处理
$ cat sedscirpts 

s/A/a/g
$ sed -f sedscirpts demo 
aaa
bbbb
aaBBCCDD
  • -i 直接对文件进行处理
$ sed -i.bak "s/A/a/g" demo
$ cat demo
aaa
bbbb
aaBBCCDD

并且会自动生成改动前的.bak的备份文件

$ cat demo.bak 
aaa
bbbb
AABBCCDD

3.3.2 地址界定演示

$ cat demo
aaa
bbbb
AABBCCDD
aaaAAAbbbBBBcc

  • 将第二行的b全部替换成B
$ sed "2s/b/B/g" demo
aaa
BBBB
AABBCCDD
aaaAAAbbbBBBcc
  • 只打印匹配aaa模式的行
$ sed -n "/aaa/p" demo
aaa
aaaAAAbbbBBBcc
  • 只打印前两行
$ sed -n "1,2p" demo
aaa
bbbb
  • 打印第2行到匹配DD行的
$ sed -n "2,/DD/p" demo
bbbb
AABBCCDD
  • 将字段里面的所有A或者a都替换成E
$ sed "1~2s/[aA]/E/g" demo
EEE
bbbb
EEBBCCDD
aaaAAAbbbBBBcc

3.3.3 编辑命令command演示

$ cat demo
aaa
bbbb
AABBCCDD
aaaAAAbbbBBBcc
  • d表示删除模式空间匹配的行
$ sed "2d" demo # 删除第二行
aaa
AABBCCDD
aaaAAAbbbBBBcc
  • p打印当前模式空间内容,追加到默认输出之后, -n:不输出模式空间内容到屏幕,即不自动打印,只打印匹配到的行
$ sed -n "2p" demo
bbbb
  • a:在指定行后面追加文本,支持使用\n实现多行追加
$ sed "2a123" demo
aaa
bbbb
123
AABBCCDD
aaaAAAbbbBBBcc
  • i:在行前面插入文本,支持使用\n实现多行追加
$ sed "1i123" demo
123
aaa
bbbb
AABBCCDD
aaaAAAbbbBBBcc
  • c替换行为单行或多行文本,支持使用\n实现多行追加
$ sed "3c123\n456" demo #将第三行的内容替换成123\n456
aaa
bbbb
123
456
aaaAAAbbbBBBcc
  • =:为模式空间中的行打印行号
$ sed -n "=" demo
1
2
3
4
  • !:模式空间中匹配行取反处理
$ sed -n '2!p' demo #打印除了第2行的内容
aaa
AABBCCDD
aaaAAAbbbBBBcc

将文本内容中的大写都转换成小写

$ sed "s/[a-z]/\u&/g" demo
AAA
BBBB
AABBCCDD
AAAAAABBBBBBCC

这行命令同等于:

$ sed 's@[a-z]@\u&@g' demo
AAA
BBBB
AABBCCDD
AAAAAABBBBBBCC

3.4 sed高级编辑命令

(1)格式

  • h:把模式空间中的内容覆盖至保持空间中
  • H:把模式空间中的内容追加至保持空间中
  • g:从保持空间取出数据覆盖至模式空间
  • G:从保持空间取出内容追加至模式空间
  • x:把模式空间中的内容与保持空间中的内容进行互换
  • n:读取匹配到的行的下一行覆盖 至模式空间
  • N:读取匹配到的行的下一行追加 至模式空间
  • d:删除模式空间中的行
  • D:删除 当前模式空间开端至\n 的内容(不再传 至标准输出),放弃之后的命令,但是对剩余模式空间重新执行sed

(2)一个案例+示意图演示

① 案例:倒序输出文本内容

$ cat num.txt 
One
Two
Three
$ sed '1!G;h;$!d' num.txt
Three
Two
One

② 总结模式空间与保持空间关系:

保持空间是模式空间一个临时存放数据的缓冲区,协助模式空间进行数据处理

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容