【gperftools】2——heap profiler

1 heap profiler 简介

heap profiler 大致有三类功能:

  • 可以分析出在程序的堆内有些什么东西
  • 定位出内存泄露
  • 可以让我们知道哪些地方分配了比较多的内存

大概的原理就是使用 tcmalloc 来代替标准库的 malloccallocnew 等等,这样就能知道内存的分配情况,从而分析出内存问题。

2 本次测试简介

  1. 使用的是 ubuntu 20.04 系统。
  2. 采用直接调用提供的 API(在需要测试的代码的前后分别调用 HeapProfilerStart()HeapProfilerStop())的方式进行测试。

3 安装环境并测试

安装 unwind

sudo apt install libunwind-dev

安装 gperftools

cd ~/Download
git clone https://github.com/gperftools/gperftools.git
cd gperftools
sh autogen.sh
./configure
make all
sudo make install

编写测试代码,监控开始,参数为需要生成的文件名前缀,注意这里指的是前缀,具体生成的文件方式后文进行讲解:

/* Start profiling and arrange to write profile data to file names
 * of the form: "prefix.0000", "prefix.0001", ...
 */
PERFTOOLS_DLL_DECL void HeapProfilerStart(const char* prefix);

监控结束:

/* Stop heap profiling.  Can be restarted again with HeapProfilerStart(),
 * but the currently accumulated profiling information will be cleared.
 */
PERFTOOLS_DLL_DECL void HeapProfilerStop();

使用时需要包含的头文件:

#include <gperftools/heap-profiler.h>

前文提到 start 时输入的是文件名的前缀,可能会生成多个文件,文件名为 prefix.0001.heapprefix.0002.heap...序号依次递增:

heap_files.png

每当一定量的内存被新申请分配出来时,就会输出一个 profile 文件,这个变量值由 HEAP_PROFILE_ALLOCATION_INTERVAL 宏进行控制,默认值是 1G。

有一个不好的地方在于,一旦执行 stop 操作,则未写入文件部分的数据就会丢失了,所以在 stop 前,需要进行一个类似 flush 的操作,将未持久化的数据写入至文件,可以调用如下接口,传入的字符串为 dump 信息:

/* Dump a profile now - can be used for dumping at a hopefully
 * quiescent state in your program, in order to more easily track down
 * memory leaks. Will include the reason in the logged message
 */
PERFTOOLS_DLL_DECL void HeapProfilerDump(const char *reason);

测试代码
https://github.com/ixiaolonglong/memory_tool/blob/master/gperftools/tests/heap_profiler/heap_profiler_test.cpp

编译测试代码

g++ heap_profiler_test.cpp -o heap_profiler_test --ltcmalloc_and_profiler

执行 heap_profiler_test,生成 .profile 文件。

4 无环境情况下测试

此工程包含了gperftools 源码和 lib,无需安装环境可直接使用,使用流程详见 README.md 文件:
https://github.com/ixiaolonglong/memory_tool/tree/master/gperftools

6 报告

执行程序的环境不一定非要安装 gperftools,但生成的 profile 文件时必须要安装 gperftools 使用其 pprof 工具进行解析。

需要安装图形工具 Graphviz

sudo apt-get install graphviz

生成不同类型的报告命令:

# 生成性能报告(层次调用节点有向图)输出到web浏览器显示
pprof heap_profiler_test heap_test.profile.0001.heap --web

# 生成pdf格式的性能报告(层次调用节点有向图)
pprof heap_profiler_test heap_test.profile.0001.heap --pdf > prof.pdf

# 生成文本格式的性能报告输出到控制台
pprof heap_profiler_test heap_test.profile.0001.heap --text
6.1 文本
Total: 41.7 MB
    41.7 100.0% 100.0%     41.7 100.0% Allocate
     0.0   0.0% 100.0%     41.7 100.0% __libc_start_main
     0.0   0.0% 100.0%     41.7 100.0% _start
     0.0   0.0% 100.0%     41.7 100.0% main
     0.0   0.0% 100.0%      3.5   8.4% test1
     0.0   0.0% 100.0%      0.0   0.0% test2
     0.0   0.0% 100.0%     38.1  91.5% test3

共有6列数据:
第1列:该函数自身分配了多少内存
第2列:第1列相对总分配大小的占比
第3列:第2列从第1行到当前行的累加值
第4列:该函数,及其调用的所有子函数一共分配了多少内存
第5列:第4列相对总分配大小的占比
第6列:函数名

6.2 图形
heap .png

7 原理

在数据结构上,heap profilingCPU profiling 十分相似,都是 stack trace + statistics 的模型,但 heap Profiling 的数据采集工作并非简单通过定时器开展,而是需要侵入到内存分配路径内,这样才能拿到内存分配的数量。所以 heap profiler 通常的做法是直接将自己集成在内存分配器内,当应用程序进行内存分配时拿到当前的 stack trace,最终将所有样本聚合在一起,这样我们便能知道每个函数直接或间接地内存分配数量了。

参考链接:
https://gperftools.github.io/gperftools/heapprofile.html
https://www.cnblogs.com/minglee/p/10124174.html
https://juejin.cn/post/7031834718966382623

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容