1 heap profiler 简介
heap profiler 大致有三类功能:
- 可以分析出在程序的堆内有些什么东西
- 定位出内存泄露
- 可以让我们知道哪些地方分配了比较多的内存
大概的原理就是使用 tcmalloc
来代替标准库的 malloc
、calloc
、new
等等,这样就能知道内存的分配情况,从而分析出内存问题。
2 本次测试简介
- 使用的是 ubuntu 20.04 系统。
- 采用直接调用提供的 API(在需要测试的代码的前后分别调用
HeapProfilerStart()
和HeapProfilerStop()
)的方式进行测试。
3 安装环境并测试
安装 unwind
sudo apt install libunwind-dev
安装 gperftools
cd ~/Download
git clone https://github.com/gperftools/gperftools.git
cd gperftools
sh autogen.sh
./configure
make all
sudo make install
编写测试代码,监控开始,参数为需要生成的文件名前缀,注意这里指的是前缀,具体生成的文件方式后文进行讲解:
/* Start profiling and arrange to write profile data to file names
* of the form: "prefix.0000", "prefix.0001", ...
*/
PERFTOOLS_DLL_DECL void HeapProfilerStart(const char* prefix);
监控结束:
/* Stop heap profiling. Can be restarted again with HeapProfilerStart(),
* but the currently accumulated profiling information will be cleared.
*/
PERFTOOLS_DLL_DECL void HeapProfilerStop();
使用时需要包含的头文件:
#include <gperftools/heap-profiler.h>
前文提到 start 时输入的是文件名的前缀,可能会生成多个文件,文件名为 prefix.0001.heap
,prefix.0002.heap
...序号依次递增:
每当一定量的内存被新申请分配出来时,就会输出一个 profile 文件,这个变量值由 HEAP_PROFILE_ALLOCATION_INTERVAL
宏进行控制,默认值是 1G。
有一个不好的地方在于,一旦执行 stop 操作,则未写入文件部分的数据就会丢失了,所以在 stop 前,需要进行一个类似 flush 的操作,将未持久化的数据写入至文件,可以调用如下接口,传入的字符串为 dump 信息:
/* Dump a profile now - can be used for dumping at a hopefully
* quiescent state in your program, in order to more easily track down
* memory leaks. Will include the reason in the logged message
*/
PERFTOOLS_DLL_DECL void HeapProfilerDump(const char *reason);
编译测试代码
g++ heap_profiler_test.cpp -o heap_profiler_test --ltcmalloc_and_profiler
执行 heap_profiler_test
,生成 .profile
文件。
4 无环境情况下测试
此工程包含了gperftools
源码和 lib,无需安装环境可直接使用,使用流程详见 README.md
文件:
https://github.com/ixiaolonglong/memory_tool/tree/master/gperftools
6 报告
执行程序的环境不一定非要安装 gperftools,但生成的 profile 文件时必须要安装 gperftools 使用其 pprof 工具进行解析。
需要安装图形工具 Graphviz
:
sudo apt-get install graphviz
生成不同类型的报告命令:
# 生成性能报告(层次调用节点有向图)输出到web浏览器显示
pprof heap_profiler_test heap_test.profile.0001.heap --web
# 生成pdf格式的性能报告(层次调用节点有向图)
pprof heap_profiler_test heap_test.profile.0001.heap --pdf > prof.pdf
# 生成文本格式的性能报告输出到控制台
pprof heap_profiler_test heap_test.profile.0001.heap --text
6.1 文本
Total: 41.7 MB
41.7 100.0% 100.0% 41.7 100.0% Allocate
0.0 0.0% 100.0% 41.7 100.0% __libc_start_main
0.0 0.0% 100.0% 41.7 100.0% _start
0.0 0.0% 100.0% 41.7 100.0% main
0.0 0.0% 100.0% 3.5 8.4% test1
0.0 0.0% 100.0% 0.0 0.0% test2
0.0 0.0% 100.0% 38.1 91.5% test3
共有6列数据:
第1列:该函数自身分配了多少内存
第2列:第1列相对总分配大小的占比
第3列:第2列从第1行到当前行的累加值
第4列:该函数,及其调用的所有子函数一共分配了多少内存
第5列:第4列相对总分配大小的占比
第6列:函数名
6.2 图形
7 原理
在数据结构上,heap profiling 与 CPU profiling 十分相似,都是 stack trace + statistics 的模型,但 heap Profiling 的数据采集工作并非简单通过定时器开展,而是需要侵入到内存分配路径内,这样才能拿到内存分配的数量。所以 heap profiler 通常的做法是直接将自己集成在内存分配器内,当应用程序进行内存分配时拿到当前的 stack trace,最终将所有样本聚合在一起,这样我们便能知道每个函数直接或间接地内存分配数量了。
参考链接:
https://gperftools.github.io/gperftools/heapprofile.html
https://www.cnblogs.com/minglee/p/10124174.html
https://juejin.cn/post/7031834718966382623