golang 内存那些事--如何快速分配内存,减少系统 GC (三)

在写这一章节的时候我在考虑关于 golang 内存管理到底要讲到什么程度,毕竟 golang 的内存管理尤其是 golang 的 gc 机制是一门复杂的哲学,非万字长文是说不明白的,我又在网上搜索了一圈发现网上已经有了很好的讲解 golang gc 的文档。这篇文档还是本着实用的原则通过各种例子来讲解 golang 的内存,不会过多涉及 golang 底层实现机制。

make 和 new 的区别

golang 中内存分配有三种方式:1、在声明变量时直接初始化,这是 golang 会为初始化数据分配一段空间;2、使用内置函数 make;3、使用内置函数 new。这里 make 函数只能用于slice,map,chan 三种类型,返回值是一个引用,new 可以用于任意类型,返回值是是一个指针。另外 make 还支持 size 参数,能知道引用底层存储空间的大小。

append 函数是如何处理 slice 的?

前面在第二章节的时候 append 会在底层存储空间不够时 copy 一份数据加大新的存储空间,但是当底层存储空间足够时会发送什么呢?我们看一下下面的例子:

package main

import (
    "fmt"
    "unsafe"
)

func main() {
    a := make([]int, 2, 3)
    fmt.Printf("Address of a=%d\n", unsafe.Pointer(&a[0]))
    a = append(a, 1)
    fmt.Printf("Address of a=%d\n", unsafe.Pointer(&a[0]))
    a = append(a, 1)
    fmt.Printf("Address of a=%d\n", unsafe.Pointer(&a[0]))
}

输出结果:

Address of a=824633811328
Address of a=824633811328
Address of a=824633860288

我们可以看到第一次 append 时存储空间的地址并没有变化,第二次 append 时存储空间地址发送了变化(因为第二次时存储空间已经不足了)。从这儿我们也可以看出在使用 slice 时我们尽量一次性分配足够的空间,这样就是减少因为空间不足带来的内存平凡分配,gc,copy 时带来的cpu 消耗。

另外还需要注意的时,多个 slice 可以共用一个存储空间,通过其中一个 slice 改变了值会影响到其他 slice,看下面例子:

package main

import "fmt"

func main() {
    a := []int{1, 2, 3}
    b := a[1:]
    b[1] = 100
    fmt.Printf("a=%v\n", a)
    b = append(b, 200)
    fmt.Printf("a=%v\n", a)
    fmt.Printf("b=%v\n", b)
}

输出结果:

a=[1 2 100]
a=[1 2 100]
b=[2 100 200]

上面输出结果可以看出第一次 b 的值改变影响到了 a,但是 append 之后 b 指向了新的地址空间,这时候 b 和 a 就没有关系了,b 的改变不会影响 a。

sync.Pool

golang 的 gc 机制会自动回收没有任何引用和任何指针的内存空间,这种机制虽然可以减少程序员因为任务失误找出内存泄露的风险,但是 gc 本身也是消耗 cpu 的,如果频繁的创建,消耗内存空间比如会拖慢整个系统的速度,比如高并发的网络系统,在短时内会有大量数据到达并处理,这就意味着短时内要大量重复的创建内存空间用完后在等到 gc 回收。

golang 为解决这个问题提供了 sync.Pool,sync.Pool 可以临时存放不需要的内存空间,等到下次有新的内存空间需要时可以从 sync.Pool 中直接申领而不必在重新创建。我们来直接看例子:

package main

import (
    "fmt"
    "sync"
    "unsafe"
)

var bufPool = sync.Pool{
    // 当 pool 中没有元素其 Get 方法被调用时会使用这个方法创建元素并返回
    New: func() any {
        return make([]int, 3, 3)
    },
}

func main() {
    testfunc()
    testfunc()
}

func testfunc() {
    a := bufPool.Get().([]int)
    // 在函数栈销毁之前把 a 放入 bufPool,方便下次直接获取
    defer bufPool.Put(a)
    fmt.Printf("Address of a=%v\n", unsafe.Pointer(&a[0]))
}

输出结果:

Address of a=0xc0000ba000
Address of a=0xc0000ba000

可以看到两次调用函数,a 都指向了同一内存。另外需要注意的是 sync.Pool 如果长时间没有被再次利用也会自动销毁的,看一下下面这个例子:

package main

import (
    "fmt"
    "sync"
    "time"
    "unsafe"
)

var bufPool = sync.Pool{
    // 当 pool 中没有元素其 Get 方法被调用时会使用这个方法创建元素并返回
    New: func() any {
        return make([]int, 3, 3)
    },
}

func main() {
    testfunc()
    // 多了 sleep,在 sleep 期间 bufPool 里的空间会被释放
    time.Sleep(10 * time.Second)
    testfunc()
}

func testfunc() {
    a := bufPool.Get().([]int)
    // 在函数栈销毁之前把 a 放入 bufPool,方便下次直接获取
    defer bufPool.Put(a)
    fmt.Printf("Address of a=%v\n", unsafe.Pointer(&a[0]))
}

输出结果:

Address of a=0xc000016180
Address of a=0xc000094000

可以看到就是加了个 sleep,两次函数调用 a 指向的空间地址就不同了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容

  • 常见垃圾回收机制 引用计数 对每个对象维护一个引用计数,当引用对象的对象被销毁时,引用计数-1,如果引用计数 为0...
    爱钓鱼的码农阅读 757评论 0 0
  • golang 的内存分配类似于tcmalloc(全局缓存堆和进程所属私有缓存)内存分配策略,大致采用三层内存分配模...
    SuperGopher阅读 420评论 0 0
  • [TOC] Golang踩坑 内存溢出 GC回收时,无法实现100%的回收 有goroutine泄漏,zombie...
    我爱吃炒鸡阅读 1,361评论 0 0
  • 一、什么是GC 垃圾回收(Garbage Collection,简称GC)是编程语言中提供的自动的内存管理机制,自...
    爱情小傻蛋阅读 3,853评论 0 3
  • 本文作者欧长坤,德国慕尼黑大学在读博士,Go/etcd/Tensorflow contributor,开源书籍《G...
    水表学Java阅读 446评论 0 0