Django之Model操作之prefetch_related的应用
参考博客: Django操作进阶与查询优化
对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。
作用和方法：
prefetch_related()和select_related()的设计目的很相似，都是为了减少SQL查询的数量，但是实现的方式不一样。后者是通过JOIN语句，在SQL查询内解决问题。
但是对于多对多关系，使用SQL语句解决就显得有些不太明智，因为JOIN得到的表将会很长，会导致SQL语句运行时间的增加和内存占用的增加。若有n个对象，每个对象的多对多字段对应Mi条，就会生成Σ(n)Mi 行的结果表。
关于prefetch_related 使用方法的不同造成 SQL查询语句的不同：
1： 不带任何参数， model.objects.prefetch_related().all()
假设查询的结果有n个 Person 对象
a：多对多, 这种情况，会造成若干次查询，那么共查询1 + n 次SQL(本例查询有2个 Person 对象)，除了第一次查询 Person对应的表，其他的SQL使用了 JOIN ON 来对关联表( orm_practice_person_visitation )查询
b：直接外键， 这种情况，会造成若1 + n次查询， 除了第一次查询，其他次都是正常的where id=xxx 的普通查询
c： 外键的外键，这种情况，会造成若1 + 2 * n次查询， 除了第一次查询，其他每个对象都会单独查询2次(外键与外键的外键关联表)的where id=xxx 的普通查询
查询1：多对多
person_objs = Person.objects.prefetch_related().filter(firstname__contains='兰').all()
# person_objs = Person.objects.prefetch_related().all()
for p in person_objs:
for i in p.visitation.all(): # 多对多
print(i.name)
[2021-11-06 13:09:02,797] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_person`.`id`, `orm_practice_person`.`firstname`, `orm_practice_person`.`lastname`, `orm_practice_person`.`needs_id`, `orm_practice_person`.`hometown_id`, `orm_practice_person`.`living_id` FROM `orm_practice_person` WHERE `orm_practice_person`.`firstname` LIKE BINARY '%兰%'; args=('%兰%',)
[2021-11-06 13:09:02,799] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_city`.`id`, `orm_practice_city`.`name`, `orm_practice_city`.`province_id` FROM `orm_practice_city` INNER JOIN `orm_practice_person_visitation` ON (`orm_practice_city`.`id` = `orm_practice_person_visitation`.`city_id`) WHERE `orm_practice_person_visitation`.`person_id` = 13; args=(13,)
[2021-11-06 13:09:02,800] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_city`.`id`, `orm_practice_city`.`name`, `orm_practice_city`.`province_id` FROM `orm_practice_city` INNER JOIN `orm_practice_person_visitation` ON (`orm_practice_city`.`id` = `orm_practice_person_visitation`.`city_id`) WHERE `orm_practice_person_visitation`.`person_id` = 17; args=(17,)
查询2：外键
person_objs = Person.objects.prefetch_related().filter(firstname__contains='兰')
for p in person_objs:
print(p.hometown.name)
# print(p.needs.orderinfo)
[2021-11-06 13:42:37,332] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_person`.`id`, `orm_practice_person`.`firstname`, `orm_practice_person`.`lastname`, `orm_practice_person`.`needs_id`, `orm_practice_person`.`hometown_id`, `orm_practice_person`.`living_id` FROM `orm_practice_person` WHERE `orm_practice_person`.`firstname` LIKE BINARY '%兰%'; args=('%兰%',)
[2021-11-06 13:42:37,333] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_order`.`id`, `orm_practice_order`.`customer_id`, `orm_practice_order`.`orderinfo`, `orm_practice_order`.`time` FROM `orm_practice_order` WHERE `orm_practice_order`.`id` = 23 LIMIT 21; args=(23,)
[2021-11-06 13:42:37,334] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_order`.`id`, `orm_practice_order`.`customer_id`, `orm_practice_order`.`orderinfo`, `orm_practice_order`.`time` FROM `orm_practice_order` WHERE `orm_practice_order`.`id` = 36 LIMIT 21; args=(36,)
查询3：外键的外键
person_objs = Person.objects.prefetch_related("hometown__province").filter(firstname__contains='兰')
for pin person_objs:
print(p.hometown.province.name)
[2021-11-06 13:52:54,060] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_person`.`id`, `orm_practice_person`.`firstname`, `orm_practice_person`.`lastname`, `orm_practice_person`.`needs_id`, `orm_practice_person`.`hometown_id`, `orm_practice_person`.`living_id` FROM `orm_practice_person` WHERE `orm_practice_person`.`firstname` LIKE BINARY '%兰%'; args=('%兰%',)
[2021-11-06 13:52:54,062] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_city`.`id`, `orm_practice_city`.`name`, `orm_practice_city`.`province_id` FROM `orm_practice_city` WHERE `orm_practice_city`.`id` = 33 LIMIT 21; args=(33,)
[2021-11-06 13:52:54,063] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_province`.`id`, `orm_practice_province`.`name` FROM `orm_practice_province` WHERE `orm_practice_province`.`id` = 33 LIMIT 21; args=(33,)
[2021-11-06 13:52:54,064] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_city`.`id`, `orm_practice_city`.`name`, `orm_practice_city`.`province_id` FROM `orm_practice_city` WHERE `orm_practice_city`.`id` = 47 LIMIT 21; args=(47,)
[2021-11-06 13:52:54,064] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_province`.`id`, `orm_practice_province`.`name` FROM `orm_practice_province` WHERE `orm_practice_province`.`id` = 47 LIMIT 21; args=(47,)
2：带参数，model.objects.prefetch_related(*lookups).all()
假设查询的结果有n个 Person 对象
a： 多对多，这种情况，会造成2次查询，并且第二次使用 JOIN ON + IN 来对关联表( orm_practice_person_visitation )查询
b：直接外键，这种情况，会造成2次查询，并且第二次使用 IN 来对关联表( orm_practice_city , orm_practice_province)查询
c： 直接外键的外键， 这种情况， 会造成3次查询，并且第二次通过IN查询外键关联的表 (orm_practice_city)、第三次通过 IN 查询外键的外键关联的表(orm_practice_province )
查询1：多对多
person_objs = Person.objects.prefetch_related("visitation").filter(firstname__contains='兰').all()
# person_objs = Person.objects.prefetch_related("visitation").all()
for p in person_objs:
for i in p.visitation.all():
print(i.name)
[2021-11-06 13:18:52,754] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_person`.`id`, `orm_practice_person`.`firstname`, `orm_practice_person`.`lastname`, `orm_practice_person`.`needs_id`, `orm_practice_person`.`hometown_id`, `orm_practice_person`.`living_id` FROM `orm_practice_person` WHERE `orm_practice_person`.`firstname` LIKE BINARY '%兰%'; args=('%兰%',)
[2021-11-06 13:18:52,756] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT (`orm_practice_person_visitation`.`person_id`) AS `_prefetch_related_val_person_id`, `orm_practice_city`.`id`, `orm_practice_city`.`name`, `orm_practice_city`.`province_id` FROM `orm_practice_city` INNER JOIN `orm_practice_person_visitation` ON (`orm_practice_city`.`id` = `orm_practice_person_visitation`.`city_id`) WHERE `orm_practice_person_visitation`.`person_id` IN (13, 17); args=(13, 17)
查询2：外键
person_objs = Person.objects.prefetch_related().filter(firstname__contains='兰')
for p in person_objs:
print(p.hometown.name)
# print(p.needs.orderinfo)
[2021-11-06 13:45:01,121] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_person`.`id`, `orm_practice_person`.`firstname`, `orm_practice_person`.`lastname`, `orm_practice_person`.`needs_id`, `orm_practice_person`.`hometown_id`, `orm_practice_person`.`living_id` FROM `orm_practice_person` WHERE `orm_practice_person`.`firstname` LIKE BINARY '%兰%'; args=('%兰%',)
[2021-11-06 13:45:01,122] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_order`.`id`, `orm_practice_order`.`customer_id`, `orm_practice_order`.`orderinfo`, `orm_practice_order`.`time` FROM `orm_practice_order` WHERE `orm_practice_order`.`id` IN (36, 23); args=(36, 23)
查询3：外键的外键
person_objs = Person.objects.prefetch_related("hometown__province").filter(firstname__contains='兰')
for pin person_objs:
print(p.hometown.province.name)
[2021-11-06 13:46:48,447] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_person`.`id`, `orm_practice_person`.`firstname`, `orm_practice_person`.`lastname`, `orm_practice_person`.`needs_id`, `orm_practice_person`.`hometown_id`, `orm_practice_person`.`living_id` FROM `orm_practice_person` WHERE `orm_practice_person`.`firstname` LIKE BINARY '%兰%'; args=('%兰%',)
[2021-11-06 13:46:48,449] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_city`.`id`, `orm_practice_city`.`name`, `orm_practice_city`.`province_id` FROM `orm_practice_city` WHERE `orm_practice_city`.`id` IN (33, 47); args=(33, 47)
[2021-11-06 13:46:48,450] [utils.py:123] [utils:debug_sql] DEBUG (0.000) SELECT `orm_practice_province`.`id`, `orm_practice_province`.`name` FROM `orm_practice_province` WHERE `orm_practice_province`.`id` IN (33, 47); args=(33, 47)
注意 QuerySet是lazy的，要用的时候才会去访问数据库。运行到第二行Python代码时，for循环将plist看做iterator，这会触发数据库查询。最初的两次SQL查询就是prefetch_related导致的。
虽然已经查询结果中包含所有所需的city的信息，但因为在循环体中对Person.visitation进行了filter操作，这显然改变了数据库请求。因此这些操作会忽略掉之前缓存到的数据，重新进行SQL查询。
常用使用方法：
1：model.objects.prefetch_related()
2：model.objects.prefetch_related('外键')
3：model.objects.prefetch_related('外键__外键')
网友评论