Linux——文件过滤及内容编辑处理

cat 合并文件或查看文件内容

cat命令可以理解为英文单词concatenate的缩写,其功能是连接多个文件并且打印到屏幕输出,或者重定向到指定的文件中。

cat常用功能

  1. 查看文件内容
  2. 把多个文件合成一个
cat file1,file2,file3 > newfile.txt
  1. 创建或编辑文件
cat > file1.txt 后面输入要编辑的内容,使用快捷键Ctrl+d或者Ctrl+c可结束编辑
  1. 编辑或追加内容到文件尾部
cat >>>file1.txt<<<EOF
insert word to file
EOF
  1. 清空文件内容
cat /dev/null > file1.txt
cat [选项] [文件]
  • -n 对所有的输出内容进行编号 从1开始
  • -b 和-n功能类似,忽略显示空白行行号
  • -s 遇到连续两行以上的空白行时,替换为一行空白行
  • -A 等价于 -vET
  • -e 等价于-vE
  • -E 每一行行尾显示$
  • -t 与-vT等价
  • -T 将Tab字符显示为^I
  • -v 除了LFD和TAB之外,使用^和M-引用
[root@linuxprobe test]# cat -b file2.txt 
     1  a

     2  b
...

tac 反向显示文件内容

tac是cat的反向拼写,因此命令的功能为反向显示文件内容。cat命令是从第一行开始读取文本输出的,而tac则是从最后一行开始读取文本并进行反向输出的。

tac [选项] [文件]

more 分页显示文件内容

more会一页一页地显示文件内容

more [选项] [文件]

在交互模式下,使用more命令打开文件后,会进入一个基于vi的交互界面,在这里可以使用部分vi编辑器的功能

  • h或? 帮助
  • 空格键 向下滚动一屏
  • z 向下滚动一屏
  • Enter 向下显示1行
  • f 向下滚动一屏
  • b 返回上一屏
  • = 输出当前行的行号
  • /查找的文本 查找指定文本
  • :f 输出文件名和当前行的行号
  • v 调用vi
  • ! 调用shell 执行命令
  • q 退出
分页显示目录下的内容
ls /etc/service|more -10

less 分页显示文件内容

less命令的基本功能类似于more命令,可以分页显示文件内容,但比more的功能更强大。less命令在读取文件内容时,并不是像more、vi命令一样,要一次性将整个文件加载之后再显示,而是会根据需要来加载文件的内容,这样打开文件的速度会更快。

less [选项] [文件]

参数

  • -i 搜索时忽略大小写
  • -m 显示类似于more命令的百分比
  • -N 显示每行的行号

子命令

  • b 向前翻一页
  • 空格键 向后翻一页
  • u 向前翻半页
  • d 向后翻半页
  • y 向上滚动一行
  • 回车键 向下滚动一行
  • / 字符串 向下搜索字符串
  • ? 字符串 向上搜索字符串
  • n 向后查找下一个匹配的文本
  • N 向前查找下一个匹配的文本
  • v 调用vi 编辑界面
  • !调用shell 并执行命令
  • G 移动到最后一行
  • g 移动到第一行
  • h 显示帮助页面
  • q 退出less

head 显示文件内容头部

head用于显式文件内容头部,默认输出文件的开头10行

hean [选项] [文件]
  • -n<行数> 指定显示的
  • -c<字节> 指定显示的字数
  • -q 不显示包含给定文件名的文件头
  • -v 总是显示包含给定文件名的文件头

tail 显示文件内容尾部

tail 命令用于显示文件内容的尾部,默认输出文件的最后10行

tail [参数] [文件]
  • -n<行数> 指定显示的行数
  • -f 实时输出文件变化后追加的数据
  • --retry 不停地尝试打开文件直到打开为止 和-f参数合用
  • -F -f --retry
  • -s 秒数N 监视文件变化的间隔秒数

tailf 跟踪日志文件

tailf的主要作用就是跟踪日志文件,首先将默认输出日志文件的最后10行,然后实时地显示文件的增加内容

tailf [选项] [文件]
  • -n<行数> 指定显示的行数

cut 从文本中提取一段文字并输出

cut命令从文件的每一行剪切字节、字符或字段,并将这些字节、字符或字段输出到标准输出

cut [选项] [文件]
  • -b 以字节为单位进行分割
  • -c 以字符为单位进行分割
  • -d 自定义分隔符
  • -f 指定显示哪个区域
  • N 第N个字节、字符或字段
  • N- 从第N个字节、字符或字段开始直至行尾
  • N-M 从第N到第M个字节、字符或字段
  • -M 从第1到第M个字节、字符或字段

split 分割文件

split命令可以按照指定的行数或者指定的文件大小分割文件

split [选项] [输入文件] [输出文件名前缀]
  • -b 指定分割后文件的最大字节数
  • -l 指定分割后文件的最大行数
  • -a 指定后缀长度,默认为2位字母
  • -d 使用数字后缀

paste 合并文件

paste命令能将文件按照行与行进行合并,中间使用tab隔开

paste [选项] [文件]
  • -d 指定合并的分隔符,默认是TAB
  • -s 每个文件

sort 文本排序

sort命令将输入的文件内容按照指定的规则进行排序。然后将排序结果输出

sort [选项][文件]
  • -n 依照数值大小进行排序
  • -r 倒序排列
  • -u 去除重复行
  • -t 指定分隔符
  • -k 按指定区间排序
    案例:
[root@linuxprobe test]# cat arp.txt 
1.1.1.1 a:c:d:f
1.1.1.2 g:h:i:j
1.1.1.3 k:l:m:n
1.1.1.4 o:p:q:r
1.1.1.5 s:t:u:v
1.1.1.6 w:x:y:z
按照.分隔,按照第4个区间 倒序排序
[root@linuxprobe test]# sort -t . -k4 -r arp.txt 
1.1.1.6 w:x:y:z
1.1.1.5 s:t:u:v
1.1.1.4 o:p:q:r
1.1.1.3 k:l:m:n
1.1.1.2 g:h:i:j
1.1.1.1 a:c:d:f
先按照第3个字段排列 再按照第4个字段排序
[root@linuxprobe test]# sort -nr -t . -k3 -k4  arp.txt 
1.1.2.5 b:c:d:e
1.1.2.4 a:d:e:f
1.1.2.3 a:c:f:g
1.1.2.1 a:b:d:e
1.1.1.6 w:x:y:z
1.1.1.5 s:t:u:v
1.1.1.4 o:p:q:r
1.1.1.3 k:l:m:n
1.1.1.2 g:h:i:j
1.1.1.1 a:c:d:f

以aa-cd-dd-xx中的最后一列xx进行分组,再对每组中的ip的最后一列xxx进行排序

[root@linuxprobe test]# sort -t "." -k 1.10,1.11 -k4.4n sort.txt 

ab-cd-cc-aa 1.2.3.42
ab-cd-rc-ab 3.2.3.46
aa-er-vd-cd 3.4.5.61
bc-ki-ee-db 0.3.4.125
ab-cd-cc-ee 1.2.3.41
bc-ki-ee-ee 0.3.4.5
zz-sd-jk-ee 5.6.7.82
ad-ee-cd-er 5.4.3.23
ee-ad-df-fc 4.5.6.21
ee-ad-df-fc 4.5.6.7
ee-ad-df-fc 4.5.6.9
fd-fe-er-fe 2.3.4.51
bc-ki-de-fg 0.3.4.225

join 按两个文件的相同字段合并

join命令针对每一对具有相同内容的输入行,整合为一行输出到标准输出。

join [option] [文件1] [文件2]

uniq 去除重复行

uniq命可以输出或忽略文件中的重复行。

uniq [选项] [文件或标准输入]
  • -c 去除重复行,并计算每行出现的次数
  • -d 只显示重复的行
  • -u 只显示唯一的行

[root@linuxprobe test]# cat uniq.txt 
10.0.0.4
10.0.0.4
10.0.0.4
10.0.0.4
10.0.0.4
[root@linuxprobe test]# uniq uniq.txt 
10.0.0.4

wc 统计文件的行数、单词、字节

wc 用于统计文件的行数、单词数或字节数

wc [选项] [文件]
  • -l 统计行数
  • -c 统计字节数
  • -m 统计字符数
  • -w 统计单词数
  • -L 打印最长行的长度
[root@linuxprobe test]# wc /etc/inittab 
 16  76 490 /etc/inittab
[root@linuxprobe test]# wc -c /etc/inittab
490 /etc/inittab
[root@linuxprobe test]# wc -l /etc/inittab 
16 /etc/inittab
[root@linuxprobe test]# wc -L /etc/inittab 
86 /etc/inittab

iconv 转换文件的编码格式

iconv [选项] [原编码][新编码][输入文件]
  • -f encodingA 从编码A转换
  • -t encodingB 转换成编码B
  • -l 显示系统支持的编码
  • -o 将输出输入到指定文件

dos2unix 将DOS格式文件转换成UNIX格式

将Windows系统格式文件转换成UNIX格式

dos2unix [file]

diff比较两个文件的不同

diff命令可以逐行比较纯文本文件的内容,并输出文件的差异

diff [选项][文件]
  • -y 以并列的方式显示文件的异同之处
  • -W 指定显示宽度
  • -c 使用上下文的输出格式
  • -u 使用统一格式输出

vimdiff 可视化比较工具

vimdiff调用vim打开文件。并且会以不同的颜色来区分文件差异

rev 反向

rev命令可以按行反向输出文件内容

rev [文件]

tr 替换或删除字符

tr 命令从标准输入中替换、缩减或删除字符,并将结果写到标准输出

tr [选项] [字符1] [字符2]
  • -d 删除字符
  • -s 保留连续字符的第一个字符,删除其他字符
  • -c 使用第一个字符串的补集
    小写字母替换为大写
[root@linuxprobe test]# cat pro.txt 

it 's pro txt
i don't need sex
beacuse the goverment fuck me every day
[root@linuxprobe test]# tr '[a-z]' '[A-z]' < pro.txt 

IT 'S PRO TXT
I DON'T NEED SEX
BEACUSE THE GOVERMENT FUCK ME EVERY DAY
  • 删除字符 'txt'
[root@linuxprobe test]# tr -d 'txt' < pro.txt 

i 's pro 
i don' need se
beacuse he govermen fuck me every day

od 按不同进制显示文件

od命令用于输出文件的八进制、十六进制或者其他格式编码的字节

od [选项] [文件]
参数列表

tee 多重定向

tee命令用于将数据重定向到文件,同时提供一份重定向数据的副本作为后续命令的标准输入。就是把数据重定向到给定文件和屏幕上

tee [option] [file]
  • -a 向文件追加内容,而不是覆盖
[root@linuxprobe test]# ls | tee ls.txt
arp.txt
file1.txt
file2.txt
pro.txt
sort.txt
test1
test2
uniq.txt
[root@linuxprobe test]# cat ls.txt 
arp.txt
file1.txt
file2.txt
pro.txt
sort.txt
test1
test2
uniq.txt

vi/vim纯文本编辑器

vi [选项] [文件]
  • 普通模式
    vim打开一个文件,默认的状态就是普通模式。在这个模式中,不能编辑输入操作,可以执行一些操作命令进行 删除、复制、粘贴等操作
  • 编辑模式
    在普通模式下,按 i,I,o,O,a,A,r,R,s,S进入编辑模式。
  • 命令模式
    在普通模式下,输入:或/,在这个模式中,可以执行保存、退出、搜索、替换、显示行号等相关操作


    vim模式转换示意

选项

  • G 移动到最后一行
  • gg 移动到文件的第一行
  • 0 移动到当前行的开头
  • $ 移动到当前行的结尾
  • :set nu 显示行号
  • /text 从光标位置开始,向下寻找名为text的字符串
  • ?text 从光标位置开始,向上寻找名为text的字符串
    普通模式
  • yy 复制光标所在的当前行
  • nyy 复制光标开始向下的n行
  • p/P p将已复制的数据粘贴到光标的下一行
  • dd: 删除当前光标坐在的行
  • ndd:n为行号 表示删除从光标开始向下n行
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容