[TOC]

文本应用程序

cat 连接文件并且打印到标准输出

• -A 选项，在文本中显示非打印字符。

$ cat -A foo.txt 
   The quick brown fox jumped over the lazy dog.$

• -n 选项，给文本行添加行号。
• -s 选项，禁止输出多个空白行。

cat > foo.txt
The quick brown fox

jump over the lazy dog.
^C
$ cat -ns foo.txt 
     1  The quick brown fox
     2
     3  jump over the lazy dog.

sort 给文本行排序

sort 程序对标准输入的内容，或命令行中指定的一个或多个文件进行排序，然后把排序结果发送到标准输出。

$ sort > foo.txt
c
b
a
# Ctrl+D 表示文件的结尾。

$ cat foo.txt 
a
b
c

示例一：

# 显示前10个文件，默认按路径名排序
$ du -s /root/* | head
75716   /root/Agora_Recording
31420   /root/Agora_Recording_SDK_for_Linux_v2_2_2_FULL.tar.gz
4       /root/foo.txt
65728   /root/nodejs-v8.10.0
64136   /root/p2p
36456   /root/paxos
13692   /root/PaxosUdp_let
114528  /root/t-blockchain_screen
28      /root/testDocument

#  -nr 选项，反向数值排序，最大数值排列在第一位。
# 这种排序起作用是因为数值出现在每行的开头。
$ du -s /root/* | sort -nr | head
114528  /root/t-blockchain_screen
75716   /root/Agora_Recording
65728   /root/nodejs-v8.10.0
64136   /root/p2p
36456   /root/paxos
31420   /root/Agora_Recording_SDK_for_Linux_v2_2_2_FULL.tar.gz
13692   /root/PaxosUdp_let
28      /root/testDocument
4       /root/foo.txt

示例二(基于某个字段排序)：

$ ls -l /usr/bin | head
total 431444
-rwxr-xr-x 1 root   root       51920 Mar  3  2017 [
-rwxr-xr-x 1 root   root          96 Nov 13 00:18 2to3-3.5
-rwxr-xr-x 1 root   root       22696 Sep 28 06:10 aa-enabled
-rwxr-xr-x 1 root   root       15072 Apr  9  2016 acpi_listen
-rwxr-xr-x 1 root   root        6356 Dec 19 01:08 add-apt-repository
-rwxr-xr-x 1 root   root       18888 May 16  2018 addpart
lrwxrwxrwx 1 root   root          26 Aug 30 21:39 addr2line -> x86_64-linux-gnu-addr2line
-rwxr-xr-x 1 root   root        2555 May 24  2018 apport-bug
-rwxr-xr-x 1 root   root       13347 May 24  2018 apport-cli

# -nr 选项，执行相反的数值排序
# -k 5，让 sort 程序使用第五字段作为排序的关键值。
# 空白字符（空格和制表符）被当作是字段间的界定符。
$ ls -l /usr/bin | sort -nr -k 5 | head
-rwxr-xr-x 1 root   root    22889264 Oct 23 20:11 mysql_embedded
-rwxr-xr-x 1 root   root    18929936 Jul 19  2018 snap
-rwxr-xr-x 1 root   root    14664464 Aug 11  2015 mongod
-rwxr-xr-x 1 root   root    14537488 Aug 11  2015 mongorestore
-rwxr-xr-x 1 root   root    14537488 Aug 11  2015 mongofiles
-rwxr-xr-x 1 root   root    14508816 Aug 11  2015 mongodump
-rwxr-xr-x 1 root   root    14504720 Aug 11  2015 mongostat
-rwxr-xr-x 1 root   root    14504720 Aug 11  2015 mongoimport
-rwxr-xr-x 1 root   root    14500624 Aug 11  2015 mongoexport
-rwxr-xr-x 1 root   root    14496528 Aug 11  2015 mongooplog

# 多键值排序语法
# 1,1，“始于并且结束于第一个字段。”
# 2n，第二个字段是排序的键值，并且按照数值排序。
# b（忽略开头的空格），n（数值排序），r（逆向排序）
$ sort --key=1,1 --key=2n distros.txt

#  -k 3.7，指示 sort 程序使用一个排序键值，其始于第三个字段中的第七个字符，对应于年的开头。
# 指定 -k 3.1 和 -k 3.4 来分离日期中的月和日。
# b 选项用来删除日期字段中开头的空格
sort -k 3.7nbr -k 3.1nbr -k 3.4nbr distros.txt
Fedora         10    11/25/2008
Ubuntu         8.10  10/30/2008
SUSE           11.0  06/19/2008

uniq 报告或者省略重复行

当给定一个排好序的文件（包括标准输出），uniq 会删除任意重复行，并且把结果发送到标准输出。它常常和 sort 程序一块使用，来清理重复的输出。

uniq 程序是一个传统的 Unix 工具，经常与 sort 程序一块使用， 但是这个 GNU 版本的 sort 程序支持一个 -u 选项，其可以从排好序的输出结果中删除重复行。

uniq 程序能完成任务，其输入必须是排好序的数据，因为 uniq 只会删除相邻的重复行。

# 新建一个包含重复的测试文件
$ cat > foo.txt
a
b
c
a
b
c
^C
 
# 数据没有排序好，输出不变：
$ uniq foo.txt
a
b
c
a
b
c

# 数据经过 sort 排序，uniq 才会删除重复项：
$ sort foo.txt | uniq
a
b
c

$ sort foo.txt | uniq -c
      2 a
      2 b
      2 c

cut 从每行中删除文本区域

cut 程序被用来从文本行中抽取文本，并把其输出到标准输出。
cut 命令最好用来从其它程序产生的文件中抽取文本，而不是从人们直接输入的文本中抽取。

# -f 3，抽取第三段
# -c 7-10，抽取从位置 7 到 10 的字符
$ cut -f 3 distros.txt | cut -c 7-10

# -d 选项，指定冒号做为字段分隔符。
$ cut -d ':' -f 1 /etc/passwd | head
root
daemon
bin
sys
sync
games
man
lp
mail
news

paste 合并文件文本行

paste 命令的功能正好与 cut 相反。它会添加一个或多个文本列到文件中，而不是从文件中抽取文本列。
它通过读取多个文件，然后把每个文件中的字段整合成单个文本流，输入到标准输出。

join 基于某个共享字段来联合两个文件的文本行

一个 join 操作通常与关系型数据库有关联，在关系型数据库中来自多个享有共同关键域的表格的数据结合起来，得到一个期望的结果。

默认情况下，join 命令使用空白字符做为输入字段的界定符，一个空格作为输出字段的界定符。这种行为可以通过指定的选项来修改。

比较文本

comm 逐行比较两个有序的文件

comm 程序会比较两个文本文件，并且会显示每个文件特有的文本行和共有的文本行。

• comm 命令产生三列输出。第一列包含第一个文件独有的文本行；第二列文本行是第二列独有的；第三列包含两个文件共有的文本行。
• -n 选项，这里 n 代表 1，2 或 3。这些选项使用的时候，指定了要隐藏的列。

# 只显示两个文件共有的行
$ comm -12 file1.txt file2.txt

diff 逐行比较文件

diff 程序被用来监测文件之间的差异。然而，diff 是一款更加复杂的工具，它支持许多输出格式，并且一次能处理许多文本文件。软件开发员经常使用 diff 程序来检查不同程序源码版本之间的更改，diff 能够递归地检查源码目录，经常称之为源码树。diff 程序的一个常见用例是创建 diff 文件或者补丁，它会被其它程序使用，例如 patch 程序，来把文件从一个版本转换为另一个版本。

patch 逐行比较文件

patch 程序被用来把更改应用到文本文件中。它接受从 diff 程序的输出，并且通常被用来把较老的文件版本转变为较新的文件版本。

使用 diff/patch 组合提供了两个重大优点：

1. 与整个源码树的大小相比较而言，一个 diff 文件非常小。
2. 一个 diff 文件简洁地显示了所做的修改，从而允许程序补丁的审阅者能快速地评估它。

运行时编辑

使用非交互式的方法来编辑文本。例如：通过单个命令把一系列修改应用到多个文件中。

tr 翻译或删除字符

tr 程序被用来更改字符。可以把它看作是一种基于字符的查找和替换操作。

示例：

# 小写转大写
$ echo "lowercase letters" | tr a-z A-Z
LOWERCASE LETTERS

# 查看 tr 命令所支持地完整的转义序列和字符类别列表
$ tr --help

tr 命令接受两个参数：要被转换的字符集以及相对应的转换后的字符集。字符集可以用三种方式来表示：

1. 一个枚举列表。例如，ABCDEFGHIJKLMNOPQRSTUVWXYZ。
2. 一个字符域。例如，A-Z 。注意这种方法有时候面临与其它命令相同的问题，归因于语系的排序规则，因此应该谨慎使用。
3. POSIX 字符类。例如，[:upper:]。

大多数情况下，两个字符集应该长度相同；然而，有可能第一个集合大于第二个，尤其如果我们想要把多个字符转换为单个字符

# 
$ echo "lowercase letters" | tr [:lower:] A
AAAAAAAAA AAAAAAA

除了换字之外，tr 命令能允许字符从输入流中简单地被删除。

# MS-DOS 文本文件转换为为 Unix 文本文件时。需要删除每行末尾的回车符。
# dos_file 是需要被转换的文件
# unix_file 是转换后的文件
$ tr -d '\r' < dos_file > unix_file

# 使用 - s 选项，tr 命令能 “挤压”（删除）相邻的重复的字符实例：
$ echo "aaabbbccc" | tr -s ab
abccc

sed 用于筛选和转换文本的流编辑器

• sed 是 stream editor（流编辑器）的简称，它对文本流进行编辑。
• sed 是一款强大的，并且有些复杂的程序（有整本内容都是关于 sed 程序的书籍）。
• sed 的工作方式是要不给出单个编辑命令（在命令行中）要不就是包含多个命令的脚本文件名，然后它就按行来执行这些命令。

格式：sed 's/regexp/replacement/' file...

# 将 front 替换为 back
# s：替换命令
$ echo "front" | sed 's/front/back/'
back

喜欢 sed 的人们也会喜欢。。。

sed 是一款非常强大的程序，它能够针对文本流完成相当复杂的编辑任务。它最常用于简单的行任务，而不是长长的脚本。
许多用户喜欢使用其它工具，来执行较大的工作。 在这些工具中最著名的是 awk 和 perl。它们不仅仅是工具，像这里介绍的程序，且延伸到完整的编程语言领域。
特别是 perl，经常被用来代替 shell 脚本，来完成许多系统管理任务，同时它也是一款非常流行网络开发语言。
awk 更专用一些。其具体优点是其操作表格数据的能力。awk 程序通常逐行处理文本文件，这点类似于 sed，awk 使用了一种方案，其与 sed 中地址之后跟随编辑命令的概念相似。
虽然关于 awk 和 perl 的内容都超出了本书所讨论的范围， 但是对于 Linux 命令行用户来说，它们都是非常好的技能。

aspell 交互式拼写检查器

aspell 是一款交互式的拼写检查器。

拼写检查一个包含简单的文本文件：

$ aspell check textfile

示例：

# 生成带错误单词的文件
$ cat > foo.txt
The queck brown fox jimped over the laxy dog.

# 交互式拼写检查
$ aspell check foo.txt

# 拼写可疑且高亮显示的单词，下方会有提示符
1) quack                                                            6) QC
2) quick                                                            7) Que
3) Keck                                                             8) gecko
4) quark                                                            9) kick
5) quirk                                                            0) quake
i) Ignore                                                           I) Ignore all
r) Replace                                                          R) Replace all
a) Add                                                              l) Add Lower
b) Abort                                                            x) Exit

除非由命令行选项 --dont-backup 告诉 aspell，否则通过追加扩展名 .bak 到文件名中, aspell 会创建一个包含原始文本的备份文件。

-rw-r--r--  1 root    root        45 Jan 19 17:26 foo.txt
-rw-r--r--  1 root    root        46 Jan 19 17:24 foo.txt.bak

aspell 会认为 HTML 标志的内容是拼写错误。通过包含 -H（HTML）检查模式选项，这个问题能够解决：

# 检查 HTML 文件：
$ aspell -H check foo.txt

注意：默认情况下，aspell 会忽略文本中 URL 和电子邮件地址。通过命令行选项，可以重写此行为。也有可能指定哪些标志进行检查及跳过。

其他操作命令

一些有趣的文本操作命令也非常值得研究。如：split（把文件分割成碎片）， csplit（基于上下文把文件分割成碎片），和 sdiff（并排合并文件差异）。