一、sed命令介绍:
1、含义:Stream Editor文本流编辑,sed是一个“非交互式的”面向字符流的编辑器。能同时处理多个文件多行的内容,可以不对原文件改动,把整个文件输入到屏幕,可以把只匹配到模式的内容输入到屏幕上。还可以对原文件改动,但是不会再屏幕上返回结果。
2、功能:主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等
3、参考:http://www.gnu.org/software/sed/manual/sed.html
二、sed用法
1、语法格式:sed [options] ‘scripts’ 输入文本
2、sed命令的选项(options):
-n :只打印模式匹配的行
-e :直接在命令行模式上进行sed动作编辑,不输出内容到屏幕上,此为默认选项
-f :将sed的动作写在一个文件内,用–f filename 执行filename内的sed动作
-r :支持扩展表达式
-i :直接修改文件内容
3、sed在文件中查询文本的方式:
1)使用行号,可以是一个简单数字,或是一个行号范围
2)使用正则表达式,扩展正则表达式(必须结合-r选项)
^ 锚点行首的符合条件的内容,用法格式"^pattern"
$ 锚点行首的符合条件的内容,用法格式"pattern$"
^$ 空白行
. 匹配任意单个字符
* 匹配紧挨在前面的字符任意次(0,1,多次)
* 匹配任意长度的任意字符
\? 匹配紧挨在前面的字符0次或1次
\{m,n\} 匹配其前面的字符至少m次,至多n次
\{m,\} 匹配其前面的字符至少m次
\{m\} 匹配前面的m次
\{0,n\} 匹配前面的0到n次
\< 锚点词首----相当于 \b,用法格式:\
\> 锚点词尾,用法格式:\>pattern
\<pattern\> 单词锚点
分组,用法格式:\(xy\)*ab,引用\1,\2
[] 匹配指定范围内的任意单个字符
[^] 匹配指定范围外的任意单个字符
[:digit:] 所有数字, 相当于0-9, [0-9]---> [[:digit:]]
[:lower:] 所有的小写字母
[:upper:] 所有的大写字母
[:alpha:] 所有的字母
[:alnum:] 相当于0-9a-zA-Z
[:space:] 空白字符
[:punct:] 所有标点符号
3)sed的编辑命令(sed scripts):
d:删除模式空间匹配的行,并立即启用下一轮循环
如:seq 11 |sed '2~2d'(打印出奇数)
p: 打印当前模式空间的内容,追加到默认输出之后
如:seq 10 |sed -n '0~2p'(1-10的偶数)
a \string : 在指定行后面追加文本,支持使用\n实现多行追加
如:seq 11 |sed '6~2axy'(6之后每隔2行追加xy)
i \txt : 在行前面插入文本
如:sed '/root/i \superman' /etc/passwd 在包含root的行前写入Superman
c \txt : 替换单行或多行文本
如:sed '/root/c \superman' /etc/passwd 用Superman替换包含root的行
w /path/to/file : 保存模式匹配的行至指定的文件
如:seq 10|sed '5,8w' /app/sed.log(将内容指定到文件)
r /path/to/file : 读取指定文件的文本至模式空间中匹配到的行后
如:seq 10|sed '5,8r /etc/issue' (文件内容指定到5,6,7,8行后)
= :为模式空间中的行,打印行号
如:sed -n '/^$/=' file 显示空行行号
!:模式空间中匹配行取反处理
如:sed '/bash$/!d' /etc/passwd 取出以bash结尾的行
s/// : 查找并替换,支持使用其他分隔符,s@@@,s###
替换标记
g :全局替换
如: sed 's@^#@@g' /etc/inittab 删除/etc/inittab文件中开头的#号
p :显示替换成功的行
如:sed –n ‘s/root/&superman/p’ /etc/passwd 在root单词后加上superman
sed –n ‘s/root/superman&/p’ /etc/passwd 在root单词前加上superman
w /path /to/file : 将替换成功的行保存至文件中
三、sed高级用法
高级用法中新增加了保持空间,
1)选项
P:打印模式空间开端至\n内容,并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H:把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G:从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N:读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D:如果模式空间包含换行符,则删除直到第一个换行符的模式空间中的文本,并不会读取新的输入行,而使用合成的模式空间重新启动循环。如果模式空间不包含换行符,则会像发出d命令那样启动正常的新循环
2)实例
sed -n 'n;p' FILE # 打印偶数行
sed '1!G;h;$!d' FILE # 倒序排列
sed -n '1!G;h;$p' FILE # 倒序排列
sed 'N;D' FILE # 只保留最后一行
sed '$!d' FILE # 只保留最后一行
sed '$!N;$!D' FILE # 只保留最后两行
sed 'G' FILE # 相当于在每行的后面添加空白行
sed 'g' FILE # 全替换成空白行
sed '/^$/d;G' FILE # 没空行的加空行,有空行的不变。删除空白行
sed 'n;d' FILE # 显示奇数行
line=6;seq 10|sed -n "$line p" #打印出变量值,用双引号
练习:1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
cat /etc/grub2.cfg|sed -r 's/^[[:space:]]+//'
解释:^[[:space:]]以空白开头的行,-r使用扩展正则,+匹配前面至少1次,将前面的行替换成空白,即删除。
2、删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符
cat /etc/fstab|sed 's/^#[[:space:]]\+//'
解释:^#[[:space:]]以#开头的空白行,\+匹配前面至少1次
3、在centos6系统/root/install.log每一行行首增加#号
sed 's/^/#' /root/install.log
解释:^行首,替换成#
4、在/etc/fstab文件中不以#开头的行的行首增加#号
sed 's/^[^#]/#&/' /etc/fstab
解释:^[^#]不以#开头,替换成#&,#&表示在^[^#]前面加#
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
基名:echo /etc/sysconfig/network-scripts/ |sed -r 's@^(/.*/)([^/]+/?)@\2@'
目录名:echo /etc/sysconfig/network-scripts/ |sed -r 's@^(/.*/)([^/]+/?)@\1@'
解析:^/.*/以/开头,[^/]+/?不以/开头,进行分组,\1只留下^/.*/,\2只留下[^/]+/?
echo /etc/sysconfig/network-scripts/ |sed -r 's@(^.*/)([^/].*/?)@\1\n\2@'
解析:^.*/以任意字符开头 /结尾,[^/].*/?不以/开头,进行分组。
6、利用sed 取出ifconfig命令中本机的IPv4地址
centos6:ifconfig eth2 |sed -n '2p' |sed 's#^.*addr:##g' |sed 's# Bcas.*$##g'
解析:2p打印第2行,-n 关闭自动打印,^.*addr:以addr:开头替换成空白, Bcas.*$以空白开头以$结束