linux sort 命令整理

无论是工作中使用还是应付各种面试,linux sort 都是必须要掌握的 linux 基本命令之一。尤其是 linux sort -k 命令,经常会被搞晕,索性好好研究一下 sort 命令

sort 对文件内容进行排序

语法:

sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]

选项:

-b:忽略每行前面开始的空格字符,空格数量不固定时,该选项几乎是必须要使用的("-n"选项隐含该选项,测试发现都隐含)
-c:检查文件是否已经按照顺序排序,如未排序,会提示从哪一行开始乱序
-C:类似于"-c",只不过不输出任何诊断信息。可以通过退出状态码1判断出文件未排序
-d:只处理英文字母、数字及空格,忽略其他的字符
-f:将小写字母视为大写字母
-h:使用易读性数字(例如:2K、1G)
-i:除了040至176之间的ASCII字符外(八进制0-177),忽略其他的字符(忽略无法打印的字符如退格/换页键/回车)
-k:以哪个区间 (field) 来进行排序
-m:将几个排序好的文件进行合并,只是单纯合并,不做排序
-M:将前面3个字母依照月份的缩写进行排序
-n:依照数值的大小排序
-o<输出文件>:将排序后的结果存入指定的文件
-r:降序
-u:忽略相同行
-t<分隔字符>:指定分隔符,默认的分隔符为空白字符和非空白字符之间的空字符

参数就不一一介绍了,直接上例子,首先先看下原始的排序数据
cat sort.log

a   mac     2000    500 2K
d   winxp   4000    300 3G
e   bsd     1000    600 4M
b   linux   1000    200 5K
f   SUSE    4000    300 6M
g   winxp   500     300 3G
c   win7    2000    100 7G
c   Debian  600     200 8K

1、打印从哪列开始是乱序
sort -c sort.log; echo $?

sort: sort.log:4: disorder: b   linux   1000    200 5K
1

sort -C sort.log; echo $?

1

其中,返回结果 1,表示文件不是已经排序好的文件
2、默认排序( 整行进行ASCII字符升序)
sort sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
c   win7    2000    100 7G
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

3、高能来了,让人迷糊的 k 语法,首先看下 k 的语法格式

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

这个语法格式可以被其中的逗号(”,”)分为两大部分,Start部分和End部分
Start和End部分都由三部分组成,其中的Modifier部分就是类似n和r的选项部分,可省略
FStart、Fend,表示使用的域,而CStart则表示在FStart域中从第几个字符开始算"排序首字符",同理,CEnd表示结尾的第几个字符是排序末尾字符,.CStart、.CEnd是可以省略的,分别表示从本域的开头部分开始、到本域的域尾结束,CEnd设定为0,也是表示结尾到域尾。口说无凭,上几个例子吧

3.1 对第三列进行排序,如果不加n,按照 ASCII字符排序
sort -t $'\t' -k 3 sort.log

b   linux   1000    200 5K
e   bsd     1000    600 4M
c   win7    2000    100 7G
a   mac     2000    500 2K
d   winxp   4000    300 3G
f   SUSE    4000    300 6M
g   winxp   500     300 3G
c   Debian  600     200 8K

3.2 加n后,按照数值排序
sort -t $'\t' -k 3n sort.log

g   winxp   500     300 3G
c   Debian  600     200 8K
b   linux   1000    200 5K
e   bsd     1000    600 4M
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

3.3 不指定 FEnd 时,多个 -k 从前往后排序可以,从后往前不行
从后往前,多个 -k,数据符合预期
sort -t $'\t' -k 3n -k 1 sort.log

g   winxp   500     300 3G
c   Debian  600     200 8K
b   linux   1000    200 5K
e   bsd     1000    600 4M
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

从后往前,多个 -k ,第三列相同时,按照第一列降序排列,数据符合预期
sort -t $'\t' -k 3n -k 1r sort.log

g   winxp   500     300 3G
c   Debian  600     200 8K
e   bsd     1000    600 4M
b   linux   1000    200 5K
c   win7    2000    100 7G
a   mac     2000    500 2K
f   SUSE    4000    300 6M
d   winxp   4000    300 3G

更换成从前往后
sort -t $'\t' -k 1 -k 3n sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
c   win7    2000    100 7G
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

sort -t $'\t' -k 1 -k 3nr sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
c   win7    2000    100 7G
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

通过 sort -t $'\t' -k 1 -k 3n sort.logsort -t $'\t' -k 1 -k 3nr sort.log 返回的结果发现,在第一列相等时,无论其三列是正序排列,还是逆序排列,结果都一样,说明后边的 -k 未生效
当指定 FEend 后
sort -t $'\t' -k 1,1 -k 3nr sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   win7    2000    100 7G
c   Debian  600     200 8K
d   winxp   4000    300 3G
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
g   winxp   500     300 3G

3.4 作用域
紧跟在字段后的选项(如"-k3n"的"n"和"-k2nr"的"n","r")称为私有选项,使用短横线写在字段外的选项(如"-n"、"-r")为全局选项。当没有为字段分配私有选项时,该排序字段将继承全局选项,所有选项包括但不限于"bfnrhM"
除了"b"选项外,其余选项无论是指定在FStart还是FEnd中都是等价的,对于"b"选项,指定在FStart则作用于FStart,指定在FEnd则作用于FEnd
sort -t $'\t' -k1r,2 sort.log,可以看出一、二列都是倒叙排列

g   winxp   500     300 3G
f   SUSE    4000    300 6M
e   bsd     1000    600 4M
d   winxp   4000    300 3G
c   win7    2000    100 7G
c   Debian  600     200 8K
b   linux   1000    200 5K
a   mac     2000    500 2K

3.5 注意
指定n选项按数值排序时, 由于"n"选项只能识别数字和负号"-",当排序时遇到无法识别字符时,将导致该key的排序立即结束,n选项绝对不会跨域进行比较
默认情况下,sort会进行一次"最后的排序",按照默认规则对整行进行一次排序,这次排序称为"最后的排序"

sort -t $'\t' -k3n sort.log,在第三列相等时,整行会按照 ASCII 进行最后的升序排列

g   winxp   500     300 3G
c   Debian  600     200 8K
b   linux   1000    200 5K
e   bsd     1000    600 4M
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

sort -t $'\t' -k3,4n -s sort.log,加了 -s 后,不会进行最后的排序(1000相同时,e在b的前边了),而是保留原排序

g   winxp   500     300 3G
c   Debian  600     200 8K
e   bsd     1000    600 4M
b   linux   1000    200 5K
a   mac     2000    500 2K
c   win7    2000    100 7G
d   winxp   4000    300 3G
f   SUSE    4000    300 6M

3.6 按照某个域中的第n个字符进行排序
sort -t $'\t' -k2.3,2.3 sort.log,按第二列第三个字符进行排序

c   Debian  600     200 8K
a   mac     2000    500 2K
e   bsd     1000    600 4M
b   linux   1000    200 5K
c   win7    2000    100 7G
d   winxp   4000    300 3G
g   winxp   500     300 3G
f   SUSE    4000    300 6M

4、 -h 使用易读性数字(例如:2K、1G)
sort -t $'\t' -k5h sort.log

a   mac     2000    500 2K
b   linux   1000    200 5K
c   Debian  600     200 8K
e   bsd     1000    600 4M
f   SUSE    4000    300 6M
d   winxp   4000    300 3G
g   winxp   500     300 3G
c   win7    2000    100 7G
  1. sort –u 和 sort | uniq 区别
    如果sort 指定 -k 选项,是不等价的, uniq默认是对整行进行去重
    sort -t $'\t' -k2,2 -u sort.log
e   bsd     1000    600 4M
c   Debian  600     200 8K
b   linux   1000    200 5K
a   mac     2000    500 2K
f   SUSE    4000    300 6M
c   win7    2000    100 7G
d   winxp   4000    300 3G

sort -t $'\t' -k2,2 sort.log|uniq

e   bsd     1000    600 4M
c   Debian  600     200 8K
b   linux   1000    200 5K
a   mac     2000    500 2K
f   SUSE    4000    300 6M
c   win7    2000    100 7G
d   winxp   4000    300 3G
g   winxp   500     300 3G

sort -t $'\t' -k2,2 -u sort.log 会对第二列进行去重,而 sort -t $'\t' -k2,2 sort.log|uniq 会对整行进行去重(当然uniq也可以按照第二列进行去重)

sort整理完了,欢迎大牛指教

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容

  • 1 sort的工作原理 sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值...
    Saxon_323e阅读 1,434评论 0 2
  • 刚接触这个命令时一点头绪都没有,只知道照用,这篇博文还可以,能够理解一下基本原理。转载地址 1 sort的工作原理...
    王诗翔阅读 602评论 2 4
  • 系统管理与维护命令 date date(选项)(参数) | 选项 | 说明 | | :-------- | ...
    蓓蓓的万能男友阅读 3,859评论 0 5
  • 总有不清楚情况的人站在道德制高点,劝你大度一点。 如果不原谅就是小气刻薄,如果原谅了, 对方得到了解脱,自己却依旧...
    李小钦阅读 285评论 0 0
  • 英雄打板: 节奏 做强势低吸的一个确定性point5.3[同洲电子]三板当然是好板,四板也算好板,所以当时买[粤...
    天涯别院阅读 318评论 0 0