1.内存分析与处理
程序的运行离不开对内存的操作,一个软件要运行,需要将数据加载到内存中,
通过cpu进行内存数据的读写,完成数据的运算。
2.程序内存浅析
软件程序在计算机中执行,主要通过数据单元,控制单元,执行单元共同协作,完成数据的交互。
python程序运行,主要是解释器从系统中申请内存空间来运行
python软件解释器将申请的内存主要分为以下几部分来处理执行程序软件:
栈内存(stack) 用于直接分配数据,存取速度快,数据存储不稳定,适用小数据块的快速存取,一般在程序中存储变量数据
方法区(data):加载程序使用的代码数据,二进制数据,方法数据等程序运行需要的预加载数据
静态区(static):用于加载存储程序中一些静态数据,常量数据等,在python中不可变数据也会存储在静态常量中
堆内存(heap):存储数据稳定,一般用于存储加载比较重量级数据,例如程序运行过程中的对象
3.不可变数据类型和可变数据类型
一般基本数据类型都是不可变数据乐行。
一般组合数据类型或者自定义数据类型都是可变数据类型。
3.1可变或者不可变,为什么有这样的规则?
python中一切都是对象,可以通过id()函数查询对象在内存中的地址数据,可变数据类型是在定义数据后,修改变量数据,内存地址不会发生变化。 不可变数据类型是定义数据后,修改变量数据,变量不会改变原来内存地址的数据 而是会指向新的地址,原有数据保留,方便基本数据的利用率。
4.代码块
python中最小的运行单元是代码块,代码块最小单元是一行代码。
实际开发过程中,需要注意python两种操作方式: (1):交互模式
(2):ide开发模式
在交互模式下,每行命令是一个独立代码块,每个代码块运行会独立申请一次内存,在操作过程中交互模式没有退出情况下遵循python官方操作标准。
例如,在整数-5到256之间的数据自动缓存,字符串自动缓存,他们的地址一样,超出范围的数据需要重新申请内存,地址数据不一样。
在IDE开发模式下,代码封装在模块中,通过python命令运行模块时,模块整体作为一个代码块向系统申请内存并执行程序,地址数据没有改变。
3.2 程序内存代码检测
python对于内存操作,社区开发一款强大的专门用于检测代码的,用于
代码调优的模块memory_profile
是一个比较简单,并且可视化工具,通过pip install memory_profile安装即可。
通过在测试的函数或者类型前面添加@profile注解,让内存分析模块直接可以进行代码运行监测
3.3 操作符号 is和==的使用
用于判断对象和对象中的值的情况
a is b : 判断对象a 和对象b 是否同一个地址,即同一个对象
a==b: 判断a中内容是否和b中内容一致
无论基本类型数据 还是内容复杂对象 都可以通过对象判断is 和内容判断操作符号==来确定
引入数据类型的操作:自定义数据类型,变量中存放的是对象在内存中的地址
自定义类型的对象,每次创建同样也是在堆内存中单独创建的对象,所以 is 判断 False
3.4 引用,浅拷贝,深拷贝
(1)对象的内存分配
对象的创建,依赖于申请的内存空间中数据的加载,对象在内存中的创建过程依赖于3部分
内存处理:对象分配内存地址,引用变量分配内存地址,对象和引用变量之间的关联。
对象的创建是将堆内存中创建的对象地址临时存储在栈内存变量中,如果程序在多个地方使用
一个对象数据应该怎么办? 复制
python对于这种情况,有三种不同的操作方式:
1.如果程序中多个不同地方使用同一个对象,通过对象的引用赋值,将同一个对象赋值给
多个变量
2.如果程序中多个不同地方都使用相同对象数据,通过对象拷贝完成数据的简单复制就可以
对象中包含数据要求必须一致。
3.如果程序中多个不同地方使用相同而且独立的对象数据,通过对象深层复制将对象数据
完整复制成独立一份即可。
(2)对象的引用赋值
可以将对象的内存地址同时赋值给多个变量,这多个变量存放的都是同一个对象引用地址
如果通过一个变量修改对象内容,那么其他变量也指向的对象内容同步改变。
对象的引用变量赋值 a=[1,2,3] b=a
被赋值的变量b 变量a 指向同一个列表对象 a=[1,2,3] b=[1,2,3]
通过引用变量a修改对象数据 通过引用变量b查看到也是修改后数据
a.append(5)
a=[1,2,3,5] b=[1,2,3,5]
对象的引用变量赋值 并不是对象的复制或者备份 只是将对象的地址存储在多个变量中
方便程序操作
注意: python中对象的引用赋值,针对可变类型 组合数据类型或者自定义class类型都具备
引用赋值操作,不过不适合不可变类型,一旦通过变量重新赋值会指向新的引入对象。
(3)对象的浅拷贝
核心机制是主要赋值对象内部数据的引用
python内建标准模块copy提供一个copy函数完成
(4)对象的深拷贝
对象的深拷贝是对象数据的直接拷贝,而不是简单的引用拷贝,通过python内建模块copy
提供的deepcopy函数完成
3.5 垃圾回收机制
垃圾回收机制(Garbage Collection:GC)基本是所有高级语言的标准配置之一
一定程度上可以优化编程语言数据处理效率 提高编程开发软件安全性能
python中 垃圾回收机制 主要以 引用计数 为主要手段
以标记清除和隔代回收机制为辅助操作手段
完成对内存中无效数据的自动管理操作
3.5.1 引用计数
引用计数(Reference Counting:RC)是python垃圾回收机制的核心操作算法
(1)引用计数的概念
核心思想:当一个对象被创建或者拷贝时,引用计数+1,当这个对象多个引用变量,被销毁
一个时该对象引用计数-1,如果一个对象的引用计数为0表示该对象不被引用,可以让垃圾
回收机制清除并释放该对象占有的内存空间。
引用计数 优点: 操作简单,实时性能优秀,能在短时间获得并运算对象引用计数
缺点: 为了维护每个对象引用计数算法,python必须提供和对象对等的内存消耗来维护引用
计数,无形增加内存负担。同时引用计数对于循环应用 对象之间互相引用,是无法进行引入
计数操作的,会造成常驻内存。
(2)python中的引用计数
python是一个面向对象的弱类型语言,所有的对象都是直接或者间接继承object类型,
object类型核心其实是一个结构对象。
3.5.2 标记清除
python中的标记 清除机制 主要是针对可能产生循环引用的对象进行的检测机制
一般情况下循环引用总是发生在其他可变对象的内部属性中,如list,dict,class等
使得该方法消耗的资源和程序中可变对象的数量有关。
标记清除核心思想:首先找到 PYTHON 中的一批根节点对象,如 object 对象,通过根
节点对象可以找到他们指向的子节点对象,如果搜索过程中有这个指向是从上往下的指向,
表示这个对象是可达的,否则该对象是不可达的,可达部分的对象在程序中需要保留下来,
不可达部分的对象在程序中是不需要保留的
3.5.3 分代回收
python中分代回收机制,是一种通过空间换取时间效率的做法,PYTHON 内部处理机制
定义了三个不同的链表数据结构[第零代(年轻代),第 1 代(中年代),第 2 代(老年代)]
PYTHON 为了提高程序执行效率,将垃圾回收机制进行了阈值限定,0 代链表中的垃圾
回收机制执行最为密集,其次是 1 代,最后是 2 代;
备注:弱代假说:程序中年轻的对象往往死的更快,年老的对象往往存活更久
3.5.4 垃圾回收处理
PYTHON 中的 gc 模块提供了垃圾回收处理的各项功能机制,必须 import gc 才能使用
gc.set_debug(flags):设置gc的debug日志,一般为gc.DEBUG_LEAK
gc.collect([generation]):显式进行垃圾回收处理,可以输入参数~参数表示回收的对
象代数,0 表示只检查第 0 代对象,1 表示检查第 0、1 代对象,2 表示检查 0、1、2 代独
对象,如果不传递参数,执行 FULL COLLECT,也就是默认传递 2
gc.set_threshold(threshold0 [, threshold2 [, threshold3]]):设置执行垃圾回
收机制的频率
gc.get_count():获取程序对象引用的计数器
gc.get_threshold():获取程序自动执行 GC 的引用计数阈值
在程序开发过程中,需要注意:
项目代码尽量避免循环引用
引入gc模块,启动gc模块自动清理循环引用对象的机制
将需要长期使用的对象集中管理,减少 GC 资源消耗
gc 模块处理不了重写del方法导致的循环引用,如果一定要添加该方法,需要显式
调用 gc 模块的 garbage 中对象的del方法进行处理