26
多线程Django程序耗尽数据库连接的问题
source link: https://blog.csdn.net/gzlaiyonghao/article/details/82959426?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Django的ORM是非常好用的，哪怕不是做Web项目也值得一用，所以网上也可以找到不少使用 Django 开发非Web项目的资料，因为除了ORM之个，命令行、配置文件等组件也非常好用。
最近用这种方式开发了一个非Web项目，而且是多线程的。有N个工作线程从DB中获取jobs，并把结果写回DB。简单来说就是这样。
项目运行一段时间后，发现数据库连接耗尽了，幸好内存大，然后一直往上调，最后连接数都上九千多一万了。耗尽连接数的时候，PostgreSQL 会出现类似这样的错误：
FATAL: remaining connection slots are reserved for non-replication superuser connections
然后就各种看文档、代码，找问题，其中艰难略下不表，最后大概是这么些个知识点：
- Django里的数据库连接是放在线程的 local() 实例中的。
- 任何时候，需要一个数据库连接的话，Django就会创建一条出来，或者用本线程已有的那条。
- 如果是Web项目，在请求结束的时候，Django会去关闭掉连接。是的，没有连接池。
- 因为我们是非Web项目，所以不存在请求结束事件，所以一直没的关闭连接。但本来这个应该也不会造成问题的，因为没关闭就一直用呗，但不知道哪里出了问题，会出现连接泄漏，所以连接数据会一直增长。
最后的解决方案是找时机主动关闭数据库连接，具体到我们项目，就是每次工作线程完成一个任务后，就把它相关的连接关掉，因为我们用的是 ThreadPoolExecutor
，所以Django很容易做到这一点。
重点代码如下：
from django.db import connections
def on_done(future):
# 因为每一个线程都有一个 connections，所以这里可以调用 close_all()，把本线程名下的所有连接关闭。
connections.close_all()
def main():
# ...
with ThreadPoolExecutor() as executor:
while True:
future = executor.submit(do, get_a_job())
future.add_done_callback(on_done)
主动关闭后，数据库连接数降到与工作线程数相近，并保持稳定。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK