grapy 使用的是自己写的队列系统,不够完善在任务执行完后进程不会自己结束,
并且逻辑有些麻烦。
我们使用 AioPool 替换队列的模式,是的代码变得简单起来,可读性更强。
使用 AioPool.spawn_n 对任务进行异步执行,通过 AioPool.join 来确定任务全部被执行完。
当任务执行完,AioPool.join 就结束退出, 于是 grapy 可以正常退出。
这样子看起来更像是一个爬虫。
grapy 使用的是自己写的队列系统,不够完善在任务执行完后进程不会自己结束,
并且逻辑有些麻烦。
我们使用 AioPool 替换队列的模式,是的代码变得简单起来,可读性更强。
使用 AioPool.spawn_n 对任务进行异步执行,通过 AioPool.join 来确定任务全部被执行完。
当任务执行完,AioPool.join 就结束退出, 于是 grapy 可以正常退出。
这样子看起来更像是一个爬虫。
本文标题:在 grapy 上使用 AioPool
本文链接:https://www.haomeiwen.com/subject/ngetnltx.html
网友评论