Shell---meta,quoting,escape

应该很清楚当你在 shell prompt 后面敲打键盘、直到按下 Enter 的时候,你输入的文字就是 command line 了,然后 shell 才会以行程的方式执行你所交给它的命令。但是,你又可知道:你在 command line 输入的每一个文字,对 shell 来说,是有类别之分的呢?

简单而言(我不敢说这是精确的定议,注一),command line 的每一个 charactor ,分为如下两种:

  • literal:也就是普通纯文字,对 shell 来说没特殊功能。
  • meta:對 shell 來說,具有特定功能的特殊保留字元。

我們在 command line 中碰到两个机乎每次都会碰到的 meta :
IFS:由 <space> 或 <tab> 或 <enter> 三者之一組成(我們常用 space )。
CR:由 <enter> 產生。

IFS 是用来拆解 command line 的每一个词(word)用的,因为 shell command line 是按词来处理的。而 CR 则是用来结束 command line 用的,这也是为何我们敲 <enter> 命令就会跑的原因。
除了 IFS 与 CR ,常用的 meta 还有:

= :  设定变量。

$ :  作变量或运算替换(请不要与 shell prompt 搞混了)。

>:重导向 stdout。

< :重导向 stdin。

|:命令管线。

& :重导向 file descriptor ,或将命令置于背境执行。

( ):将其内的命令置于 nested subshell 执行,或用于运算或命令替换。

{ }:将其内的命令置于 non-named function 中执行,或用在变量替换的界定范围。

; :在前一个命令结束时,而忽略其返回值,继续执行下一个命令。
&& :在前一个命令结束时,若返回值为 true,继续执行下一个命令。

|| :在前一个命令结束时,若返回值为 false,继续执行下一个命令。

!:执行 history 列表中的命令
....

假如我们需要在 command line 中将这些保留字元的功能关闭的话,就需要 quoting 处理了。

在 bash 中,常用的 quoting 有如下三种方法:

hard quote:' ' (单引号),凡在 hard quote 中的所有 meta 均被关闭。

soft quote: " " (双引号),在 soft quoe 中大部份 meta 都会被关闭,但某些则保留(如 $ )。(注二)

escape : \ (反斜线),只有紧接在 escape (跳脱字符)之后的单一 meta 才被关闭。

( 注二:在 soft quote 中被豁免的具体 meta 清单,我不完全知道,有待大家补充,或透过实作来发现及理解。 )

下面的例子将有助于我们对 quoting 的了解:

$ A=B C # 空白键未被关掉,作为 IFS 处理。
$ echo $A
$ C: command not found.

$ A="B C" # 空白键已被关掉,仅作为空白键处理。
$ echo $A
B C

在第一次设定 A 变量时,由于空白键没被关闭,command line 将被解读为:A=B 然后碰到<IFS>,再执行 C 命令。在第二次设定 A 变量时,由于空白键被置于 soft quote 中,因此被关闭,不再作为 IFS :A=B<space>C。

事实上,空白键无论在 soft quote 还是在 hard quote 中,均会被关闭。Enter 键亦然:

$ A='B

C '
$ echo "$A"
B
C

在上例中,由于 <enter> 被置于 hard quote 当中,因此不再作为 CR 字符来处理。这裡的 <enter> 单纯只是一个断行符号(new-line)而已,由于 command line 并没得到 CR 字符,因此进入第二个 shell prompt (PS2,以 > 符号表示),command line 并不会结束,直到第三行,我们输入的 <enter> 并不在 hard quote 裡面,因此并没被关闭,此时,command line 碰到 CR 字符,于是结束、交给 shell 来处理。

上例的 <enter> 要是被置于 soft quote 中的话, CR 也会同样被关闭:

$ A="B

 C"
$ echo $A
B C

然而,由于 echo $A 时的变量没至于 soft quote 中,因此当变量替换完成后并作命令行重组时,<enter> 会被解释为 IFS ,而不是解释为 New Line 字符。

同样的,用 escape 亦可关闭 CR 字符:

$ A=B\

C\

$ echo $A
BC

上例中,第一个 <enter> 跟第二个 <enter> 均被 escape 字符关闭了,因此也不作为 CR 来处理,但第三个 <enter> 由于没被跳脱,因此作为 CR 结束 command line 。但由于<enter> 键本身在 shell meta 中的特殊性,在 \ 跳脱后面,仅仅取消其 CR 功能,而不会保留其 IFS 功能。

您或许发现光是一个 <enter> 键所产生的字符就有可能是如下这些可能:

CR

IFS

NL(New Line)

FF(Form Feed)

NULL

...

至于甚麽时候会解释为甚麽字符,这个我就没去深挖了,或是留给读者诸
君自行慢慢摸索了... _

至于 soft quote 跟 hard quote 的不同,主要是对于某些 meta 的关闭与否,以 $ 来作说明:

$ A=B\ C
$ echo "$A"
B C
$ echo '$A'
$A

在第一个 echo 命令行中,$ 被置于 soft quote 中,将不被关闭,因此继续处理变量替换,因此 echo 将 A 的变量值输出到荧幕,也就得到 "B C" 的结果。

在第二个 echo 命令行中,被置于 hard quote 中,则被关闭,因此 只是一个 $ 符号,

并不会用来作变量替换处理,因此结果是 符号后面接一个 A 字母:A 。

练习与思考:如下结果为何不同?

$ A=B\ C
$ echo '"$A"' # 最外面的是单引号
"$A"
$ echo "'$A'" # 最外面的是双引号
'B C'

(提示:单引号及双引号,在 quoting 中均被关了。)

在 CU 的 shell 版里,我发现有很多初学者的问题,都与 quoting 理解的有关。
比方说,若我们在 awk 或 sed 的命令参数中调用之前设定的一些变量时,常会问及为何不能的问题。
要解决这些问题,关键点就是:

  • 区分出 shell meta 与 command meta

前面我们提到的那些 meta ,都是在 command line 中有特殊用途的,
比方说 { } 是将其内一系列 command line 置于不具名的函式中执行(可简单视为 command block ),
但是,awk 却需要用 { } 来区分出 awk 的命令区段(BEGIN, MAIN, END)。
若你在 command line 中如此输入:

$ awk {print $0} 1.txt

由于 { } 在 shell 中并没关闭,那 shell 就将 {print $0} 视为 command block ,
但同时又没有" ; "符号作命令区隔,因此就出现 awk 的语法错误结果。

要解决之,可用 hard quote :

$ awk '{print $0}' 1.txt

上面的 hard quote 应好理解,就是将原本的 {、<space>;、(注三)、} 这几个 shell meta 关闭, 避免掉在 shell 中遭到处理,而完整的成为 awk 参数中的 command meta 。 ( 注三:而其中的0 是 awk 内建的 field number ,而非 awk 的变量,
awk 自身的变量无需使用 $ 。)
要是理解了 hard quote 的功能,再来理解 soft quote 与 escape 就不难:

awk "{print /$0}" 1.txt
awk /{print/ /$0/} 1.txt

然而,若你要改变 awk 的 0 的 0 值是从另一个 shell 变量读进呢? 比方说:已有变量A 的值是 0 ,那如何在 command line 中解决 awk 的
A}' 1.txt
那是因为 A 的 在 hard quote 中是不能替换变量的。

聪明的读者(如你!),经过本章学习,我想,应该可以解释为何我们可以使用如下操作了吧:

A=0
awk "{print /
A/} 1.txt
awk '{print $'$A'}' 1.txt
awk '{print $'"$A"'}' 1.txt     # 注:"$A" 包在 soft quote 中

或许,你能举出更多的方案呢.... _


shell脚本
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 195,898评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,401评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,058评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,539评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,382评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,319评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,706评论 3 386
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,370评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,664评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,715评论 2 312
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,476评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,326评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,730评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,003评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,275评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,683评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,877评论 2 335

推荐阅读更多精彩内容