Go compile

AST全称Abstract Syntax Tree抽象语法树,即以树状形式表现变成语言的语法结构,树上每个节点都表示源代码中一种结构。之所以说语法是抽象的,是因为这里的语法并不会表示出真实语法中出现的每个细节。

Golang语法树是Go源代码的另一种语义等价的表现形式,Go自带的go fmtgo doc等命令都是在Go语法树基础之上的分析工具,将Go语言程序作为输入数据,从语法树的维度重新审视Go语言程序。

$ go run

Golang的go run命令会完成源代码从编译到执行的过程,简单来说可将go run等价于go build + 执行。

$ go build
参数 描述
go build -n 不执行地打印流程中用的命令
go build -x 执行并打印流程中使用到的命令
go build -work 打印编译时的临时目录路径,结束时保留,默认编译结束会删除。

Golang中go build主要完成源码的编译和可执行文件的生成。go build接收参数为.go文件或目录,默认情况下编译当前目录下所有的.go文件。在main包下执行会生成相应的可执行文件,在非main包下会做一些检查,生成的库文件放在缓存目录下,在工作目录下并无新文件生成。

编译过程

Golang是需要编译才能执行的语言,代码在运行前需要通过编译器生成二进制机器码,随后二进制机器码才能在目标机器上运行。

Golang编码程序首先经过编译器生成plan9汇编,再由汇编器和链接处理得到最终的可执行程序。

编译过程

Golang编译器的源代码位于cmd/compile目录下,目录下的文件共同构成了Golang的编译器,编译器分为前端和后端,前端承担着词法分析、语法分析、类型检查、中间代码生成的工作,后端主要负责目标代码的生成和优化,就是将中间代码翻译成机器能够运行的机器码。

编译过程

源代码从编译到执行的过程会经过:源码->编译->可执行文件->执行输出

Golang的编译器对Golang源代码的处理在逻辑上可分为四个阶段

1.词法语法分析
2.类型检查和AST转换
3.SSA优化和降级转换
4.Go源码生成对应的plan9汇编

编译过程

Golang程序的编译入口是compile/internal/gc/main.go文件的Main函数,Main函数获取命令行参数并更新编译选项和配置,然后运行parseFiles函数对输入的所有文件进行词法和语法分析,得到对应的AST抽象语法树。

第一阶段:词法和语法分析

编译过程是从解析代码的源文件开始,词法分析的作用是解析源代码文件,将文件中的字符串序列转换为Token序列,以方便后续的处理和解析,一般会把执行词法分析的程序称为词法解析器(lexer)。

顺序 阶段 工具 描述
1 词法分析 词法分析器 源代码被token
2 语法分析 解析器 解析
3 生成语法树 抽象语法树 为每个源构造语法树文件

1.词法分析

  • 词法分析是将字符串转换为标记(Token)序列的过程

词法分析的输入是词法分析器输出的Token序列,Token序列会按顺序被语法分析器进行解析,语法的解析过程是将词法分析生成的Token按照语言定义好的文法(Grammar)自下而上或自上而下的进行规约,每个Go的源代码文件最终会被归纳成一个SourceFile结构。

1SourceFile = PackageClause ";" {ImportDecl";"} {TopLevelDecl";"}

源代码被词法分析器Token化后进行词法分析,解析器解析后进行语法分析,最后为每个源构造语法树文件。每个语法树都由与之对应的源文件上元素的节点,比如表达式、声明、陈述。

"json.go":SourceFile {
  PackageName:"json",
  ImportDecl: []Import{"io"},
  TopLevelDecl:...
}

Golang中compile/internal/syntax/tokens.go文件定义了Golang支持的全部token类型,比如名称和文本、操作符、定界符、关键字等。词法分析会将文本中的字符序列转换为标记序列,比如将关键字package转换为_package标记,fun转换为_fun标记等。

Golang的词法解析是通过src/cmd/compile/internal/syntax/scanner.go文件中的syntax.scanner结构体实现的,由syntax.scanner.next方法驱动。

src/cmd/compile/internal/syntax/scanner.go文件实现了词法解析器,使用scanner结构的next方法实现.go文件的扫描并转换为token序列。next方法获取文件中未被解析的字符,进入switch/case分支进行词法解析。

2.语法分析

  • 语法分析是根据某种特定的形式文法(Grammer)对Token序列构成的输入文本进行分析并确定其语法结构的过程。

标准的Golang语法分析器使用的是LALR的文法,语法解析的结果是抽象语法树,每个AST都对应着一个单独的Golang文件,这个抽象语法树包括当前文件属于的包名、定义的常量、结构体、函数等。

Golang-files-and-ast

语法分析会通过文法分析,构建输入的token序列的语法结构,得到对应的语法树。

语法分析

如果在语法解析过程中发生了任何语法错误,都会被语法解析器发现并将消息打印到标准输出上,整个编译过程也会随着错误的出现而被中止。

语法解析过程会调用goroutine,语法解析器位于cmd/compile/internal/syntax.parser,其中syntax.parser.fileOrNil为一个核心解析方法。解析的产物是文件对应的抽象语法树。

3.抽象语法树

抽象语法树(AST)是源代码语法结构一种抽象的表示,抽象语法树使用树状的方式表示编程语言中的语法结构。抽象语法树中每个节点表示源代码的一个元素,每个子树表示一个语法元素。

作为编译器中常用的数据结构,抽象语法树会抹去源代码中不重要的字符,比如空格、分号、括号等。编译器在执行完语法分析后会输出一个抽象语法树,抽象语法树会辅助编译器进行语义分析,以此来确定结构正确的程序是否存在类型不匹配或不一致的问题。

第二阶段:语义分析

语义分析主要包括对抽象语法树(AST)进行类型检查和变换

语义分析过程中重要的操作:逃逸分析、变量捕获、函数内联、闭包处理

1. 类型检查

  • 通过名称解析和类型推断以确定对象所属的标识符,以及每个表达式具有的类型。
  • 类型检查包括某些额外的检查,比如“声明和未使用”以及确定函数是否终止。

类型检查

当拿到一组文件的抽象语法树之后,Golang的编译器会对语法树中定义和使用的类型进行检查,类型检查分别会按照顺序对不同类型的节点进行验证,会按照如下顺序进行处理:

  1. 常量、类型、函数名及类型
  2. 变量的赋值和初始化
  3. 函数和闭包的主体
  4. 哈希键值对的类型
  5. 导入函数体
  6. 外部的声明

通过对每颗抽象结点树的遍历,会在每个节点上都会对当前子树的类型进行验证保证当前节点上不会出现类型错误的问题,所有的类型错误和不匹配都会在此阶段被发现和暴露出来。

类型检查不止会对树状结构的节点进行验证,同时也会对一些内建的函数进行展开和改写。比如make关键字会在此阶段会根据子树的结构被替换成为makeslicemakechan等函数。

golang-keyword-make

2. 变换

  • 在抽象语法树上进行某些转换,某些节点基于类型信息会被细化。比如:从算术加法节点类型分割的字符串添加、死代码消除、函数调用内联、转义分析...

第三阶段:SSA生成(中间代码生成)

中间代码是指一种应用于抽象机器的编程语言,其设计目的是用来帮助我们分析计算机程序。在编译过程中,编译器会将源代码转换成目标机器上机器的过程中,先把原地阿玛转换成一种中间的表述形式。

当将源文件转换成抽象语法树、对整颗树的语法进行解析并进行类型检查之后,可以认为当前文件中的代码基本上不存在无法编译或语法错误的问题,Golang的编译器会将输入的AST转换成为中间代码。

  • Golang编译器的中间代码具有静态单赋值(SSA)的特性

Golang编译器的中间代码使用了SSA(Static Single Assignment Form,静态单一分配)的特性,如果在中间代码生成的过程中使用此特性,就能够很容易的分析出代码中无用的变量和片段并对代码进行优化。

类型检查之后会通过名为compileFunctions的函数开始对整个Golang中的全部函数进行编译,这些函数会在一个编译队列中等待几个后端工作goroutine的消费,这些goroutine会将所有函数对应的AST转换为使用SSA特性的中间代码。

抽象语法树(AST)将转换为静态单一分配(SSA)形式,SSA是一种具有特定属性的低级中间表示,可以更加轻松地实现优化并最终从中生成机器代码。

在此转换期间会将应用函数内在函数,对于这些特殊功能,编译器会教导它们根据具体情况使用大量优化的代码替代。

在AST到SSA转换期间,某些节点会被降级为更为简单的组件,因此编译器的其余部分可使用它们。例如内置复制替代为内存移动,并且范围循环被重写为for循环。

然后,应用一系列与机器无关的传递和规则。这些不会涉及任何单个计算机体系结构,因此看在所有GOARCH变体上运行。

这些通用过程的示例包括消除死代码,删除不需要的零检查、删除未使用的分支。

通过重写规则主要涉及表达式,比如使用常量值替换某些表达式,以及优化乘法和浮点运算。

第四阶段:机器码生成

  1. 底层SSA和结构特定的传递
  2. 生成机器码

Golang源代码的cmd/compile/internal中包含了许多机器代生成相关的包,不同类型的CPU分别使用不同的包进行生成amd64armarm64mipsmips64ppc64s390xx86wasm。Golang能够在上述的CPU指令集类型上运行。

作为一种在栈虚拟机上使用的二进制指令格式,它的设计目标是在Web浏览器上提供一种具有高可移植性的目标语言。Golang编译器既能生成WASM格式的指令,就能运行在常见的主流浏览器中。

1$ GOARCH=wasm GOOS=js gobuild -o lib.wasm main.go

编译器的机器相关阶段以底层传递开始,该传递将通用值重写为其机器特定的变体。例如在AMD64存储器操作数上是可能的,因此可以组合许多加载存储操作。

需要注意的是,较低的通道运行所有特定于机器的重写规则,因此它当前也应用了大量优化。

一旦SSA降低且更加特定于目标体系结构,就会运行最终的代码优化过程。这包括另一个四代码消除传递,移动值更接近它们的使用,删除从未读取的局部变量,以及寄存器分配。

在SSA生成节点结束时,Go函数已转换为一些列obj.Prog指令。它们会被传递给装载器cmd/internal/obj,将它们转换为机器代码并写出最终的目标文件。目标文件还将包含反射数据,导出数据和调试信息。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,053评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,527评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,779评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,685评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,699评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,609评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,989评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,654评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,890评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,634评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,716评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,394评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,976评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,950评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,191评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,849评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,458评论 2 342

推荐阅读更多精彩内容