在基于Docker的NodeJS工程中使用node-gyp

最近需要将一个c++编写的功能模块部署到Node服务上,所以研究了一下node-gyp。整个过程中遇到不少坑,下面会列举一些典型问题和解决方法。

Node模块上线和申请域名的过程暂且不表,有需要可以参考附录中列出的文章。

开发过程

编写代码

开发一个c++插件需要编辑以下若干文件:

  • binding.gyp是node-gyp的配置文件,告诉node-gyp要编译哪些功能模块和需要的参数。这个文件需要放在工程根目录下。
  • *.cc可以理解为胶水代码,作用是为你的c++代码加上v8的壳,以便打包。

编译打包

  1. 开发完成后,执行sudo npm install node-gyp -g命令,安装全局的node-gyp模块。
  2. 第一次打包时,执行node-gyp configure build,等价于node-gyp configure && node-gyp build。以后可以执行node-gyp rebuild命令,重新打包。
  3. 也可以执行npm install命令,在安装完依赖模块之后node-gyp会开始打包流程(原理会在后面介绍)。

Tips

Docker

现在的服务基本上都是使用Docker部署的。所以部署出错时有可能需要进入Docker容器中查找问题。

  1. ssh到服务器
  2. 查找Docker容器,执行docker ps -a,容器名就是server名。或查找名字以QB开头的容器docker ps -a -f name=QB
  3. 进入容器,执行docker attach [CONTAINER ID or NAME]

这里需要注意的是,使用docker attach命令进入容器,并没有新开一个bash,而是所有终端共享一个bash,所以在一个终端内操作容器,所有进入该容器的终端都将显示同样的内容。如果退出bash,则容器中没有进程运行,容器将停止!重启容器可以使用docker start [CONTAINER ID or NAME]命令。

个人以为attach没有nsenter命令好用,nsenter可以重开一个进程并且进入容器,所以每个bash之间是互不影响的。可惜服务器并没有安装这个命令……更过nsenter的讨论见参考。

为什么npm install命令会触发node-gyp的打包流程

这要从npm脚本说起。在package.json文件中,script键值对定义了npm可执行的脚本命令,其中有两个命令是默认的:

{
  // ...
  "scripts": {
    "start": "node server.js",
    "install": "node-gyp rebuild"
  }
}

如果存在./binding.gyp文件,则每当npm install执行时,会在安装完依赖包之后执行node-gyp的rebuild命令。

如果Docker容器中没有全局安装node-gyp

这几乎是一定的,原因是并不是每一个node服务都会用到node-gyp。因此我们需要为工程单独安装一个node-gyp模块。在部署之前执行npm install node-gyp --save,安装完成之后会在./node_modules/.bin/生成node-gyp.js文件。

同时./node_modules/.bin/这个路径会在运行时被加入到系统的PATH变量,因此在运行npm时,就可以不带路径,直接通过命令来调用这些脚本。所以上文提到的npm脚本node-gyp rebuild执行时不会报错。

下面是一个使用本地node-gyp打包的例子,执行命令../nodejs/node node_modules/.bin/node-gyp rebuild

binding.gypsource中引用文件

是的,如果不这么做,node-gyp无法将我们所需的c++文件全部打包进去。如果我们需要引用成百上千个文件,还好sources中可以接受shell命令:<!(cmd)<!@(cmd),前者返回值为string,后者返回值为list。

这样,虽然gyp没有提供通配符,但是可以通过命令实现这个功能,如实现添加addons/interpreter/source/QBDFOLInterpreter/addons/interpreter/source/QBDFOLInterpreter/jsoncpp/目录下所有cpp后缀的文件作为sources

# binding.gyp
{
  "targets": [
    {
      ...
      
      "sources": ["addons/interpreter/interpret.cc",
                  "<!@(ls -1 addons/interpreter/source/QBDFOLInterpreter/*.cpp)",
                  "<!@(ls -1 addons/interpreter/source/QBDFOLInterpreter/jsoncpp/*.cpp)",
                  ],
                  
      ...
    }
  ]
}

典型问题和解决方法

The program 'node-gyp' is currently not installed.

在容器中打包时出现以下错误提示:

[vectorliu ~/QBDFInterpretServer/bin/src]$ ../nodejs/node node_modules/.bin/node-gyp rebuild
gyp info it worked if it ends with ok
gyp info using node-gyp@3.6.2
gyp info using node@8.7.0 | linux | x64
gyp http GET https://nodejs.org/download/release/v8.7.0/node-v8.7.0-headers.tar.gz
gyp WARN install got an error, rolling back install
gyp ERR! configure error
gyp ERR! stack Error: connect ENETUNREACH 104.20.22.46:443
gyp ERR! stack     at Object._errnoException (util.js:1021:11)
gyp ERR! stack     at _exceptionWithHostPort (util.js:1043:20)
gyp ERR! stack     at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1175:14)
gyp ERR! System Linux 3.10.104-1-tlinux2-0041.tl1
gyp ERR! command "/usr/local/app/QBDFInterpretServer/bin/nodejs/node" "/usr/local/app/QBDFInterpretServer/bin/src/node_modules/.bin/node-gyp" "rebuild"
gyp ERR! cwd /usr/local/app/QBDFInterpretServer/bin/src
gyp ERR! node -v v8.7.0
gyp ERR! node-gyp -v v3.6.2
gyp ERR! not ok

原因是node-gyp在第一次运行之前要到https://nodejs.org/下载node源码头文件,然而服务器所在的开发网是连不上外网的。所以要指定镜像路径:

  1. 进入Docker容器
  2. ~/.bash_profile中添加一句export NODEJS_ORG_MIRROR=http://your/path/to/node/mirror
  3. 执行source ~/.bash_profile命令
  4. 继续使用node-gyp

ERROR: cannot use 'throw' with exceptions disabled

取消掉-fno-exceptions标记即可。可以在binding.gyp中加入:

{
  "targets": [
    {
      ...
      
      "cflags!" : [
        "-fno-exceptions"
      ],
      "cflags_cc!": [
        "-fno-exceptions"
      ],
      
      ...
    }
  ]
}

如果是在macOS下开发,还需要加入:

{
  "targets": [
    {
      ...
      
      'conditions': [
        ['OS=="mac"', {
          'xcode_settings': {
            'GCC_ENABLE_CPP_EXCEPTIONS': 'YES'
          }
        }]
      ],
      
      ...
    }
  ]
}

编译出错的一种可能

如果在开发环境写好的代码,部署到服务器后出现一些莫名其妙的编译错误,请注意开发环境和部署环境c++编译器的版本差异。
我拿macOS下clang编译好的代码放到g++里编译,想想真是无知者无畏啊……

参考

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335

推荐阅读更多精彩内容

  • Docker — 云时代的程序分发方式 要说最近一年云计算业界有什么大事件?Google Compute Engi...
    ahohoho阅读 15,490评论 15 147
  • 这周持续降温,实在是太冷了! 打开门,放下书包,左手拿着遥控器,右手拿着手机,搬着椅子,身体倚在暖气上,开始“...
    y加油阅读 188评论 1 0
  • 今天还看了另外一档饮食节目,叫做“厨王争霸赛”,在前几年就看过并关注这个节目了,不仅仅应为节目中琳琅满目的美食,更...
    梦不落的脚印阅读 157评论 0 0
  • 今天的晨读资料中提到三个非常值得去培养和训练的能力,分别是:批判性思维,深度思考和同行评审。 第三个同行评审就我目...
    羊小彩阅读 663评论 2 1
  • 生活需要支撑也要学会承受生活需要支撑也要学会承受。支撑事业,支撑家庭,甚至支撑起整个社会,有支撑就一定会有承受,支...
    16aa5fab5f62阅读 260评论 0 0