ThreadLocal系列之——JDK为内存泄露做的努力(三)

前情回顾

前文,介绍ThreadLocal不恰当使用姿势造成的内存泄露问题,提醒大家使用完ThreadLocal须记得调用remove方法及时回收,避免内存泄露

诚然,不恰当的使用姿势确实有内存泄露的问题,但JDK作者们为了降低内存泄露对应用程序造成的影响绞尽脑汁,想尽了办法,做了各种各样的努力和尝试,本文就来看看作者们做了什么额外的补救措施

这是任何一款成熟的商业产品该具有的模样:核心业务代码占比应是少部分,而围绕在核心代码之外的大部分代码都是为了产品体验更友好,考虑的更周全,能应付各种恶劣的场景)

正文

先回忆一下,内存泄露产生的原因:使用了ThreadLocal,但使用完毕之后未调用remove方法进行清除

那么本质上,本文要探索的问题是:如果确实在未主动调用remove的情况下造成了内存泄露,JDK做了什么努力来降低这种影响

基本事实

此处先了解一个基本事实:ThreadLocalMap是一个自定义的 hash map,它与java.util.HashMap在解决hash冲突时所采取的策略不同:ThreadLocalMap使用的是线性探测法来解决冲突,而java.util.HashMap使用的是链地址法解决冲突

此处简单介绍一下线性探测法的原理。假设一个数组长度为n,通过对待放入的Key的hash值对n求余得到要存储的位置index[index = hash(key)%n],如果该位置已经被占用,则令index = index + 1,继续探测下一个位置,直到找到一个空闲的位置为止,该位置就是最终存储元素的位置,如图示:

image

回到JDK作者解决内存泄露的思路,我们来设想这样一个场景:

假设一名古代强盗,其目的是强劫金银财宝,见人就抢风险大收益低,大部分是贫困百姓,抢了也没几个钱,还冒着暴露的风险;直接上达官贵族家里抢又找不着门路,或许可能更危险,那怎么办呢?

强盗们也不笨:此山是我开,此路是我栽,若要从此过,留下买路财,选择直接在通往城镇的主干道上蹲点,见到衣着华贵带有大批货物,携带的保镖兵团也不强的商人,这大概率就是要下手的目标人群。这里的核心逻辑在于:商人们无论进、出城贸易,都需要经过城镇的主干大道,因此在主干道上蹲点能够【集中兵力】实现效益的最大化

JDK的作者们也是采用了类似的思路:在经常被调用的方法(主干道)上去寻找那些已经不使用的脏数据并清理掉。这种方式能够实现效益的最大化:使用了最低的成本(仅在少数方法内部去做这件事)解决了最大的问题(内存泄露),这也是2\8原则的一种体现

因此,对于ThreadLocal而言,需要识别出哪些方法被经常调用的,然后在这些方法上"动手脚"。如下图示,应该很轻易看出:get、set、remove是最常用的

image

ThreadLocal中清理脏数据的方法是java.lang.ThreadLocal.ThreadLocalMap#expungeStaleEntry,如下示:

// java.lang.ThreadLocal.ThreadLocalMap#expungeStaleEntry

// staleSlot: 待清理的slot,该slot指向的entry一定是stale(旧的),即key一定是null[ThreadLocal.get()为null]
private int expungeStaleEntry(int staleSlot) {
    Entry[] tab = table;
    int len = tab.length;

    // expunge entry at staleSlot
    tab[staleSlot].value = null;
    tab[staleSlot] = null;
    size--;

    // ...(省略)
    return i;
}

入参:staleSlot,待清理的slot,该slot指向的entry一定stale(旧的),即key一定是null[ThreadLocal.get()为null]

画外音:该方法只专注于理清Entry这件事,而不管Entry的内容实际上是否旧的,因此需要由调用方来保证staleSlot指向的entry一定stale

代码逻辑:

  • 将entry里值的强引用置为null,即断掉指向值对象的强引用(这样值对象就对被GC回收)

  • 将entry对应引用置为null,即断掉指向Entry对象的强引用(这样Entry就能被GC回收)

因此,只要调用expungeStaleEntry方法,就能将无用entry(脏数据)回收清理掉。现在来看看哪些方法调用了它:

image

我们只看到了一个remove方法,与上面说的set\get\remove好像不太对应?其实只是由于方法分层,没有直接在set\get里调用,没关系,由于调用链路比较深,笔者使用一张简单来表示,有兴趣的看官们可以拿着手中源码一起对照着看

image

从上图中可以看出,每次调用set\get\remove,确实最终会调用到expungeStaleEntry方法并将无用entry(脏数据)回收清理掉

方法众多,笔者挑一个相对有意思的cleanSomeSlots进行分析

方法签名为private boolean cleanSomeSlots(int i, int n),从方法名称上看,"清理一些slots" 意味着它会清理slot,但很有可能只会清理一些而不是清理所有,因此"一些"是作者刻意为之,巧妙地设计成对数次的扫描清理,这是设计上的一个Trade Off :

  • 如果不清理,方法诚然很快就能完成并返回,但是这就意味着内存泄露,意味着脏垃圾

  • 如果全清理,每次插入都伴随着entry数组的全扫描,随着数组的扩容,put方法性能会持续恶化

因此,需要找到完全不扫描slot数量成正比的扫描次数之间的平衡,即O(1)与O(n)之间的平衡,学过数据结构的同学应该很轻易联想到O(log2[n]),不会随着数组的扩容而导致扫描效率变低。实现细节如下:

private boolean cleanSomeSlots(int i, int n) {
    boolean removed = false;
    Entry[] tab = table;
    int len = tab.length;
    do {
        i = nextIndex(i, len);
        Entry e = tab[i];
        if (e != null && e.get() == null) {
            n = len;
            removed = true;
            i = expungeStaleEntry(i);
        }
    } while ( (n >>>= 1) != 0); // 右移1位,相当于除以2
    return removed;
}

至此,看官们是否有一种似曾相识的感觉,脑瓜中隐隐约约回忆起某个组件有过类似场景的处理:Redis的过期淘汰策略

对于Redis过期的Key,采用的是定期删除 + 惰性删除 机制

定期删除: Redis每隔一定的时间,就抽取"一批"而不是“所有”过期的Key进行删除,通过控制删除Key的数量、执行间隔来减少CPU的消耗

惰性删除: Redis在获取某个Key时,检查一下是否过期,如果已过期就执行删除操作并返回空

其中的定期删除所采用的思想与cleanSomeSlots如出一辙:都是选取一批而不是全部的Key来进行删除,以此来权衡内存占用与CPU占用之间的关系

你瞧,大牛们思想是一致的,技术的本质都是相通的!

总结

本文主要是表达了一个观点:ThreadLocal不恰当使用姿势尽管容易造成内存泄露,但是做为一个成熟的产品,作者有努力去解决这个问题,已经尽可能地把问题造成的影响最小化。在这个过程中,我们还发现了一个设计上的Trade Off,并且思想上与Redis的过期淘汰策略一致(知识的迁移),如果大家能从中获得一些启发,将会是看官们阅读本文最大的收获,至少笔者本人是这样

画外音

常常会看到这样的简历:阅读过XXX源码。嗯,是的,阅读过,然后呢?有没有得到一些启发呢,思想上有没有更进步呢?大家都阅读同一份源码,为什么有人就能从中获得巨大的知识,而自己却云里雾里?笔者认为,阅读一款优秀的开源框架代码,如果深陷代码细节泥淖中而未曾GET到作者的思想,可能是看了个寂寞。并非细节不重要,而是相比于具体怎么实现的细节,思想上的收获可能来的更有用一些:一旦掌握思想,你也大概率能写出来类似功能的代码,区别仅在于好与坏;如果连思想都未曾学到,区别就是有与无了!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容