美文网首页
在 grapy 上使用 AioPool

在 grapy 上使用 AioPool

作者: Lupino | 来源:发表于2021-09-24 23:16 被阅读0次

    grapy 使用的是自己写的队列系统,不够完善在任务执行完后进程不会自己结束,
    并且逻辑有些麻烦。
    我们使用 AioPool 替换队列的模式,是的代码变得简单起来,可读性更强。
    使用 AioPool.spawn_n 对任务进行异步执行,通过 AioPool.join 来确定任务全部被执行完。
    当任务执行完,AioPool.join 就结束退出, 于是 grapy 可以正常退出。

    这样子看起来更像是一个爬虫。

    相关文章

      网友评论

          本文标题:在 grapy 上使用 AioPool

          本文链接:https://www.haomeiwen.com/subject/ngetnltx.html