美文网首页
python并发运行协程 asyncio.gather 和 a

python并发运行协程 asyncio.gather 和 a

作者: 程序里的小仙女 | 来源:发表于2020-07-02 13:59 被阅读0次
    同步有序,异步无序

    技巧:
    几乎所有的异步框架都将异步编程模型简化:一次只允许处理一个事件。故而有关异步的讨论几乎都集中在了单线程内。

    • 如果某事件处理程序需要长时间执行,所有其他部分都会被阻塞。
      所以,一旦采取异步编程,每个异步调用必须“足够小”,不能耗时太久。如何拆分异步任务成了难题。

    0.协程理解:
    一份详细的asyncio入门教程
    [进阶]-Python3 异步编程详解(史上最全篇)

    Future
    future是一个数据结构,表示还未完成的工作结果。事件循环可以监视Future对象是否完成。从而允许应用的一部分等待另一部分完成一些工作。Future
    获取Futrue里的结果
    future表示还没有完成的工作结果。事件循环可以通过监视一个future对象的状态来指示它已经完成。future对象有几个状态:

    • Pending
    • Running
    • Done
    • Cancelled
      创建future的时候,task为pending,事件循环调用执行的时候当然就是running,调用完毕自然就是done,如果需要停止事件循环,就需要先把task取消,状态为cancel。

    Task
    task是Future的一个子类,它知道如何包装和管理一个协程的执行。任务所需的资源
    可用时,事件循环会调度任务允许,并生成一个结果,从而可以由其他协程消费。

    • event_loop 事件循环:程序开启一个无限的循环,程序员会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。

    • coroutine 协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环,由事件循环调用。

    • task 任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含任务的各种状态。

    • async/await 关键字:python3.5 用于定义协程的关键字,async定义一个协程,await用于挂起阻塞的异步调用接口。

    • 启动一个协程:

    import asyncio
    async def foo():
        print("这是一个协程")
    if __name__ == '__main__':
        loop = asyncio.get_event_loop()
        try:
            print("开始运行协程")
            coro = foo()
            print("进入事件循环")
            loop.run_until_complete(coro)
        finally:
            print("关闭事件循环")
            loop.close()
    

    原文链接:https://blog.csdn.net/ronon77/article/details/84854402
    ————————————————

    • asyncio.gather 和asyncio.wait区别:

    • 在内部wait()使用一个set保存它创建的Task实例。因为set是无序的所以这也就是我们的任务不是顺序执行的原因。wait的返回值是一个元组,包括两个集合,分别表示已完成和未完成的任务。wait第二个参数为一个超时值
      达到这个超时时间后,未完成的任务状态变为pending,当程序退出时还有任务没有完成此时就会看到如下的错误提示。
      gather的使用

    • gather的作用和wait类似不同的是。
      1.gather任务无法取消
      2.返回值是一个结果列表
      3.可以按照传入参数的 顺序,顺序输出
      ———————————————

    1.Aiohttp的ClientSession理解:

    • 你使用async
      以及await关键字将函数异步化。在hello()中实际上有两个异步操作:
      首先异步获取相应,然后异步读取响应的内容。

    • Aiohttp推荐使用ClientSession作为主要的接口发起请求。
      ClientSession允许在多个请求之间保存cookie以及相关对象信息。
      Session(会话)在使用完毕之后需要关闭,关闭Session是另一个异步操作,

    • 所以每次你都需要使用[async with]关键字。一旦你建立了客户端session,你可以用它发起请求。这里是又一个异步操作的开始。

    • 上下文管理器的with语句可以保证在处理session的时候,总是能正确的关闭它。
      要让你的程序正常的跑起来,你需要将他们加入事件循环中。
      所以你需要创建一个asyncio loop的实例, 然后将任务加入其中

    1. 例子:
    import asyncio
    from asyncio import sleep
    
    import aiohttp
    
    async def get_page():
        async with aiohttp.ClientSession() as session:
            # async with session.get('https://www.baidu.com') as resp:
            async with session.get('https://blog.csdn.net/u014595019/article/details/52295642') as resp:
                print(resp.status)
                print(await resp.text())
                await session.close()
    
    loop = asyncio.get_event_loop()
    # 执行多个函数任务队列
    tasks = [get_page(),sleep(5), get_page()]
    
    # asyncio.wait 并发协程
    loop.run_until_complete(asyncio.wait(tasks))
    
    # asyncio.gather 并发协程
    # loop.run_until_complete(asyncio.gather(tasks))
    
    
    # 执行单个函数
    # loop.run_until_complete(get_page())
    loop.close()
    

    在用asyncio.wait 执行时, tasks任务队列里的sleep(5),不会报错,会异步执行等待5秒,程序就自然结束运行,
    在asyncio.gather 执行sleep(5),报错:

    相关文章

      网友评论

          本文标题:python并发运行协程 asyncio.gather 和 a

          本文链接:https://www.haomeiwen.com/subject/vkylqktx.html