编译器是怎么工作的 —— AST的转换

杭州一夜大雪,所有的树枝都被压弯了腰。正好有一枝不偏不倚弯到窗前,打开窗帘时着实吓了一跳。但定睛看时,又觉得一片粉妆玉砌,好不漂亮。此时此刻望着这一派雪景,连我这个粗人都想吟诗一首,但意料之中,什么也想不起来,只好接着来写我的博客。

书接上回,继续写编译器的工作方式。上一篇已经写完了第一步的内容 —— 源代码分析,还剩下两步 —— 分析结果转换和新代码生成。

分析结果转换

traverser.js

export default function traverser(ast, visitor) {
  function traverseArray(array, parent) {
    array.forEach(child => {
      traverseNode(child, parent);
    });
  }
  function traverseNode(node, parent) {
    let methods = visitor[node.type];
    if (methods && methods.enter) {
      methods.enter(node, parent);
    }
    switch (node.type) {
      case 'Program':
        traverseArray(node.body, node);
        break;
      case 'CallExpression':
        traverseArray(node.params, node);
        break;
      case 'NumberLiteral':
      case 'StringLiteral':
        break;
      default:
        throw new TypeError(node.type);
    }
    if (methods && methods.exit) {
      methods.exit(node, parent);
    }
  }
  traverseNode(ast, null);
}

transformer.js

import traverser from './traverser'

export default function transformer(ast) {
  let newAst = {
    type: 'Program',
    body: [],
  };
  ast._context = newAst.body;
  traverser(ast, {
    NumberLiteral: {
      enter(node, parent) {
        parent._context.push({
          type: 'NumberLiteral',
          value: node.value,
        });
      },
    },
    StringLiteral: {
      enter(node, parent) {
        parent._context.push({
          type: 'StringLiteral',
          value: node.value,
        });
      },
    },
    CallExpression: {
      enter(node, parent) {
        let expression = {
          type: 'CallExpression',
          callee: {
            type: 'Identifier',
            name: node.name,
          },
          arguments: [],
        };
        node._context = expression.arguments;
        if (parent.type !== 'CallExpression') {
          expression = {
            type: 'ExpressionStatement',
            expression: expression,
          };
        }
        parent._context.push(expression);
      },
    }
  });
  return newAst;
}

test.js

import tokenizer from './tokenizer'
import parser from './parser'
import transformer from './transformer'

const tokenizer_res = tokenizer('(add 2 (subtract 4 2))')
const parser_res = parser(tokenizer_res)
const transformer_res = transformer(parser_res)
console.log(transformer_res)

// {
//   "type": "Program",
//   "body": [
//     {
//       "type": "ExpressionStatement",
//       "expression": {
//         "type": "CallExpression",
//         "callee": {
//           "type": "Identifier",
//           "name": "add"
//         },
//         "arguments": [
//           {
//             "type": "NumberLiteral",
//             "value": "2"
//           },
//           {
//             "type": "CallExpression",
//             "callee": {
//               "type": "Identifier",
//               "name": "subtract"
//             },
//             "arguments": [
//               {
//                 "type": "NumberLiteral",
//                 "value": "4"
//               },
//               {
//                 "type": "NumberLiteral",
//                 "value": "2"
//               }
//             ]
//           }
//         ]
//       }
//     }
//   ]
// }

这段代码运行之后的结果是将之前 parser 生成的 AST 转成了一个新的 AST,那为什么要转这么一步呢,可以这么理解,旧的 AST 是 LISP 风格代码的抽象语法树,而新的 AST 是 JS 代码的抽象语法树。

总之,经过这段程序转换之后生成的新 AST 虽然更长了一点,但是更能说明 JS 风格代码各部分之间的关系。既然我们要基于原来的代码生成一份新的代码,那么最好先生成一份新的 AST。就像如果非要将 React 代码的抽象语法树直接转成 JS 代码的话肯定也是能做到的,但是会非常吃力,也会非常不合理,可维护性和可扩展性等都会非常差。

这段程序具体来说,是在 transformer 方法中调用了 traverser,同时传递了两个参数,旧的 AST 和一个 visitor。这个 visitor 简化一下是这样的:

{
  NumberLiteral: {
    enter(node, parent) {
      /*省略*/
    },
  },
  StringLiteral: {
    enter(node, parent) {
      /*省略*/
    },
  },
  CallExpression: {
    enter(node, parent) {
      /*省略*/
    },
  }
}

这时再看 traverser 方法。该方法内部又定义了两个方法,traverseArraytraverseNode。当碰到 node.bodynode.params 这样的数组时调用 traverseArray 进行遍历,对数组中的每个元素再调用 traverseNode。实际上就是把旧 AST 中的每个对象节点过了一遍,对每一个都执行一下这几句代码:

let methods = visitor[node.type];
if (methods && methods.enter) {
  methods.enter(node, parent);
}

这里的 parent 实际上是从 switch 语句中的 traverseArray 的调用透传过来的:

case 'Program':
  traverseArray(node.body, node);
  break;
case 'CallExpression':
  traverseArray(node.params, node);
  break;

当调用 enter 方法时,保持了 node 和它的父节点对象 parent 的关系,保证了 enter 方法中能够正确获得每一个节点对象的父元素。

这时再看 transformer 方法中传递给 traverservisitor 中的 enter 方法。

node.typeNumberLiteralenter 方法为:

enter(node, parent) {
  parent._context.push({
    type: 'NumberLiteral',
    value: node.value,
  });
}

node.typeStringLiteralenter 方法为:

enter(node, parent) {
  parent._context.push({
    type: 'StringLiteral',
    value: node.value,
  });
}

那这两个 parent._context 又是什么呢,这时就得看 node.typeCallExpressionenter 方法了:

enter(node, parent) {
  let expression = {
    type: 'CallExpression',
    callee: {
      type: 'Identifier',
      name: node.name,
    },
    arguments: [],
  };
  // 这里
  node._context = expression.arguments;
  if (parent.type !== 'CallExpression') {
    expression = {
      type: 'ExpressionStatement',
      expression: expression,
    };
  }
  parent._context.push(expression);
}

_context 指向的实际上是 expressionarguments 属性,这保证了原来的 CallExpression 中的参数现在都被放进 arguments 中,这么做是因为原来的代码风格是这样:

(add 1 1)

现在要转成这样:

add(1, 1)

expression 这个对象除了 arguments 之外还有两个属性,typecalleetypeCallExpression,标识了这是一个要调用的表达式。callee 又是一个对象,这个对象的 type 属性为 Identifiername 属性的值 node.name 实际上标记的就是透传过来的 addsubtract,操作类型,那么 callee 对象最后就标识了这个表达式到底在调用什么。

这个 enter 方法中还有一段剩下的代码:

if (parent.type !== 'CallExpression') {
  expression = {
    type: 'ExpressionStatement',
    expression: expression,
  };
}
parent._context.push(expression);

检测如果 parent 的类型不为 CallExpression 这一条件成立,那么说明这已经是最外层的调用了。这时将 expression 对象改为一个新的对象,新对象的 type 属性为 ExpressionStatement,标识了这是一个表达式语句,新对象的 expression 属性为上面生成的 expression 对象。如果条件不成立就什么也不做。

最后将 expression 对象 push 进 parent._context 中。如果此时是最外层的调用,parent._context 就是 newAst.body,这时条件语句中的代码也执行了,push 进去的对象就是这样:

{
  type: 'ExpressionStatement',
  expression: {
    {
      type: 'CallExpression',
      callee: {
        type: 'Identifier',
        name: /*...*/,
      },
      arguments: [/*...*/]
    }
  }
}

如果不是最外层的调用,那 parent._context 就是 expression.arguments,push 进去的对象就是这样:

{
  type: 'CallExpression',
  callee: {
    type: 'Identifier',
    name: /*...*/,
  },
  arguments: [/*...*/]
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容

  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5? 答:HTML5是最新的HTML标准。 注意:讲述HT...
    kismetajun阅读 27,421评论 1 45
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,594评论 18 139
  • 我回望 在教室的每个角落 ...
    天使de翅膀阅读 279评论 0 1
  • 1. 前两天跟朋友逛商场,谈到网红奶茶这个话题:现在的网红奶茶好看不好喝,简直是网上推什么烂什么,跟风的店铺,都倒...
    浅浅小萝卜阅读 1,207评论 0 5
  • 你所需要的一切,其实都存在于你的心里,不假外求。 看《亲密关系》这本书的书名,本以为是教我们如何与亲人,伴侣及外界...
    展展同学阅读 553评论 0 1