Node的内存控制

Node的内存控制

Allocation failed — process out of memory

如果您看到上面的错误,这意味着您的 NodeJS 应用程序内存不足,它消耗的内存超过了分配的内存,最终导致它自行终止。

当应用程序批处理大量数据时,数据处理算法的编写方式使其需要保留堆空间中的对象,直到处理完成。随着处理的进行,应用程序逐渐使用了更多内存,V8也将 将花费更多时间进行垃圾收集以释放未使用的内存,直到最终达到分配给进程的限制并导致了OOM。

Node.js 运行时在内存使的用方面非常高效,因此程序通常使用默认限制运行良好。并且,如果没有主动设置最大堆大小,程序则会使用默认内存限制,并且此默认值也是会根据 Node.js 版本和程序运行的系统架构而有所不同。

下面我们具体了解一下:

1.1 V8的垃圾回收机制与内存限制

JavaScript与Java一样,由垃圾回收机制来进行自动的内存管理。对于性能敏感的服务器端程序,内存管理的好坏、垃圾回收状况是否优良,都会对服务构成影响。而在Node中,这一切与V8引擎息息相关。

1.2 V8的内存限制

网上大都说,Node中通过JavaScript只能使用部分内存(64位约1.4G,32位约0.7G)。V8对内存做了限制。因此这种限制下,将会导致Node无法直接操作大内存对象。但是随着版本升级,这个数据好像不是那么绝对。

关于限制官方也没直接说明(主要不确定是否能通过buffer.constants.MAX_LENGTH直接类比),所以写个小程序大概在64位系统上跑一下。

Node.js (64位实测)版本限制

表头 表头
16.x 4.0 GB
15.x 4.0 GB
14.x 4.0 GB
13 .x 2.0 GB
12.x 2.0 GB
11.x 1.4 GB
10.x 1.4 GB
9.x 1.4 GB

官方文档buffer.constants.MAX_LENGTH

  • 16.x


    title
  • 12.x


    title
  • 11.x


    title

1.3 解决内存不足错误

为了解决 OOM 错误,您需要做的就是显式配置内存限制使用 Node.js 命令行选项

-max-old-space-size=<size_megabytes>

Javascript:

node --max-old-space-size=2048 index.js #increase to 2GB
node --max-old-space-size=3072 index.js #increase to 3GB
node --max-old-space-size=4096 index.js #increase to 4GB
node --max-old-space-size=5120 index.js #increase to 5GB
node --max-old-space-size=6144 index.js #increase to 6GB
node --max-old-space-size=7168 index.js #increase to 7GB
node --max-old-space-size=8192 index.js #increase to 8GB

Typescript的ts-node

node -r ts-node/register --max-old-space-size=2048 index.ts
node -r ts-node/register --max-old-space-size=3072 index.ts
node -r ts-node/register --max-old-space-size=4096 index.ts 
node -r ts-node/register --max-old-space-size=5120 index.ts 
node -r ts-node/register --max-old-space-size=6144 index.ts 
node -r ts-node/register --max-old-space-size=7168 index.ts 
node -r ts-node/register --max-old-space-size=8192 index.ts 

这就能快速解决 Node.js 内存不足的问题!

1.4 最佳实践

建议始终明确设置,--max-old-space-size而不是依赖 Node.js 的默认值,因为在较新的 Node.js 版本中默认值可能会更改。

在具有 2 GB 内存的机器上,考虑将其设置为 1536 (1.5 GB) 以留出一些内存用于其他用途并避免内存交换。
如果您在小型机器(例如 Raspberry Pi 板)上使用 Node.js 运行简单的 Web 服务器,您可以将 设置--max-old-space-size为适当的小值,例如 128 MB,以避免 Node.js 占用过多宝贵的内存。

1.5 pm2扩展

关于pm2的具体使用请查看我的文章Node服务与pm2实战

通过我们除了前端项目编译(各种cli等等)可能出现内存不足,node服务端也可能导致此问题。前端编译我们很简单的借助增加默认内存可以解决,但是服务端部署是一个持续过程,我们很少使用node直接启动的方式启动服务。我们通常借助pm2工具来进行,它可以在服务因异常或其他原因被杀掉后进行自动重启。 由于Node的单线程特征,自动重启能很大程度上的提高它的健壮性。

增加内存

pm2 start app.js --node-args="--max-old-space-size=1024"

内存溢出重启

因为我们服务端使用pm2的目的之一,是服务出问题自动重启,而万一我们设置的内存不足或者服务考虑不足有些问题,导致服务内存不足崩溃对于生产环境来说很不友好。而pm2针对内存不足也有一个重启命令,一旦内存不足,会自动重启服务,防止整个服务卡死。

基本用法

pm2 start app.js --max_memory_restart 1024M :

当内存超过1024M时自动重启。 如果工程中有比较棘手的内存泄露问题,这个算是一个折中方案。

配置用法

pm2其实也是支持配置文件来启动的,我们也可以借助配置文件来配置命令与参数:

pm2 startOrRestart ecosystem.json
如下是ecosystem.json的示例内容:
  {
    apps : [
        {
            name: "nova",
            max_memory_restart: "1024M",
            script: "app.js"
        }
    ]
 }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容