

面试官:“说一下Python的垃圾回收机制”,千万别敷衍,看完此文你也能装B!
source link: https://blog.csdn.net/zhiguigu/article/details/112676942
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

面试官:“说一下Python的垃圾回收机制”,千万别敷衍,看完此文你也能装B!
Python的垃圾回收机制到底是什么回事?
从网上找到一大堆的文档,看的也是一知半解,最终就学会了一句话:引用计数器为主、分代码回收和标记清除为辅。
就这么一知半解地去忽悠面试官了,如果面试官恰好也只会这几句话,那便达成和解了,如果不是,那"今天暂时先这样,你回去等消息吧(基本凉凉)"。
本篇文章从C语言源码底层来聊聊Python内存管理和垃圾回收机制到底是个啥?让你能够真正了解内存管理&垃圾回收。
用通俗的语言解释内存管理和垃圾回收的过程,搞懂这一部分就可以去面试、去装B了。
在Python的C源码中有一个名为refchain的环状双向链表,这个链表比较牛逼了,因为Python程序中一旦创建对象都会把这个对象添加到refchain这个链表中。也就是说他保存着所有的对象。例如:
在refchain中的所有对象内部都有一个ob_refcnt用来保存当前对象的引用计数器,顾名思义就是自己被引用的次数,例如:
上述代码表示内存中有 18 和 "张三" 两个值,他们的引用计数器分别为:1、2 。
当值被多次引用时候,不会在内存中重复创建数据,而是引用计数器+1 。 当对象被销毁时候同时会让引用计数器-1,如果引用计数器为0,则将对象从refchain链表中摘除,同时在内存中进行销毁(暂不考虑缓存等特殊情况)。
基于引用计数器进行垃圾回收非常方便和简单,但他还是存在循环引用的问题,导致无法正常地回收一些数据,例如:
对于上述代码会发现,执行del操作之后,没有变量再会去使用那两个列表对象,但由于循环引用的问题,他们的引用计数器不为0,所以他们的状态:永远不会被使用、也不会被销毁。项目中如果这种代码太多,就会导致内存一直被消耗,直到内存被耗尽,程序崩溃。
为了解决循环引用的问题,引入了标记清除技术,专门针对那些可能存在循环引用的对象进行特殊处理,可能存在循环应用的类型有:列表、元组、字典、集合、自定义类等那些能进行数据嵌套的类型。
我自己录了很多Python的入门视频,实打实的,免费给你们:www.jxqcjt.com/tx/course/3139803?name=lyj
标记清除:创建特殊链表专门用于保存 列表、元组、字典、集合、自定义类等对象,之后再去检查这个链表中的对象是否存在循环引用,如果存在则让双方的引用计数器均 - 1 。
分代回收:对标记清除中的链表进行优化,将那些可能存在循引用的对象拆分到3个链表,链表称为:0/1/2三代,每代都可以存储对象和阈值,当达到阈值时,就会对相应的链表中的每个对象做一次扫描,除循环引用各自减1并且销毁引用计数器为0的对象。
特别注意:0代和1、2代的threshold和count表示的意义不同。
· 0代,count表示0代链表中对象的数量,threshold表示0代链表对象个数阈值,超过则执行一次0代扫描检查。
· 1代,count表示0代链表扫描的次数,threshold表示0代链表扫描的次数阈值,超过则执行一次1代扫描检查。
· 2代,count表示1代链表扫描的次数,threshold表示1代链表扫描的次数阈值,超过则执行一2代扫描检查。
根据C语言底层并结合图来讲解内存管理和垃圾回收的详细过程。
第一步:当创建对象age=19时,会将对象添加到refchain链表中。
第二步:当创建对象num_list = [11,22]时,会将列表对象添加到 refchain 和 generations 0代中。
第三步:新创建对象使generations的0代链表上的对象数量大于阈值700时,要对链表上的对象进行扫描检查
当0代大于阈值后,底层不是直接扫描0代,而是先判断2、1是否也超过了阈值
- 如果2、1代未达到阈值,则扫描0代,并让1代的 count + 1
- 如果2代已达到阈值,则将2、1、0三个链表拼接起来进行全扫描,并将2、1、0代的count重置为0
- 如果1代已达到阈值,则将1、0两个链表拼接起来进行扫描,并将所有1、0代的count重置为0
对拼接起来的链表在进行扫描时,主要就是剔除循环引用和销毁垃圾,详细过程为:
- 扫描链表,把每个对象的引用计数器拷贝一份并保存到 gc_refs中,保护原引用计数器。
- 再次扫描链表中的每个对象,并检查是否存在循环引用,如果存在则让各自的gc_refs减 1
- 再次扫描链表,将 gc_refs 为 0 的对象移动到unreachable链表中;不为0的对象直接升级到下一代链表中
- 处理unreachable链表中的对象的 析构函数 和 弱引用,不能被销毁的对象升级到下一代链表,能销毁的保留在此链表
- 析构函数,指的就是那些定义了__del__方法的对象,需要执行之后再进行销毁处理
- 最后将 unreachable 中的每个对象销毁并在refchain链表中移除(不考虑缓存机制)
至此,垃圾回收的过程结束。
从上文大家可以了解到当对象的引用计数器为0时,就会被销毁并释放内存。而实际上他不是这么的简单粗暴,因为反复的创建和销毁会使程序的执行效率变低。Python中引入了"缓存机制"机制。
例如:引用计数器为0时,不会真正销毁对象,而是将他放到一个名为 free_list 的链表中,之后会再创建对象时不会在重新开辟内存,而是在free_list中将之前的对象来并重置内部的值来使用。
· float类型,维护的free_list链表最多可缓存100个float对象。
· int类型,不是基于freelist,而是维护一个**smallints链表保存常见数据(小数据池**),小数据池范围:-5 <= value < 257。即:重复使用这个范围的整数时,不会重新开辟内存。
· str类型,维护unicode_latin1[256]链表,内部将所有的ascii字符缓存起来,以后使用时就不再反复创建
· 除此之外,Python内部还对字符串做了驻留机制,针对那么只含有字母、数字、下划线的字符串(见源码Objects/codeobject.c),如果内存中已存在则不会重新再创建而是使用原来的地址里(不会像free_list那样一直在内存存活,只有内存中有才能被重复利用)。
· list类型,维护的free_list数组最多可缓存80个list对象。
· tuple类型,维护一个freelist数组且数组容量20,数组中元素可以是链表且每个链表最多可以容纳2000个元组对象。元组的freelist数组在存储数据时,是按照元组可以容纳的个数为索引找到free_list数组中对应的链表,并添加到链表中。
· dict类型,维护的free_list数组最多可缓存80个dict对象。
上文对Python的内存管理和垃圾回收进行了快速讲解。
我自己录了很多Python的入门视频,实打实的,免费给你们:www.jxqcjt.com/tx/course/3139803?name=lyj
对于Python的内存管理和垃圾回收,你有什么想说的吗?欢迎留言交流!
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK