asyncio实现并发

我们可以使用asyncio来解决palywright中并发的问题，asyncio即Asynchronous I/O是python一个用来处理并发(concurrent)事件的包，是很多python异步架构的基础，多用于处理高并发网络请求方面的问题。给大家举一个经典的应用场景就懂了，在不同的浏览器中同时执行打开百度首页，获取title的操作，代码如下：

import asyncio

import time

from playwright.async_apiimport async_playwright

async def playwright_async_chromium():

    async with async_playwright() as p:

        browser = await p.chromium.launch(headless=False)

        page = await browser.new_page()

        await page.goto('http://baidu.com/')

        #await asyncio.sleep(2)

        print(await page.title())

        await asyncio.sleep(10)

        await browser.close()

async def playwright_async_firefox():

    async with async_playwright() as p:

        browser = await p.firefox.launch(headless=False)

        page = await browser.new_page()

        await page.goto('http://baidu.com/')

        #await asyncio.sleep(2)

        print(await page.title())

        await asyncio.sleep(10)

        await browser.close()

async def playwright_async_webkit():

    async with async_playwright() as p:

        browser = await p.webkit.launch(headless=False)

        page = await browser.new_page()

        await page.goto('http://baidu.com/')

        #await asyncio.sleep(2)

        print(await page.title())

        await asyncio.sleep(10)

        await browser.close()

#首先说明的是playwright中的并发操作需要对异步函数进行操作，因此定义了三个方法

async def playwright_async_chromium

async def playwright_async_firefox()

async def playwright_async_webkit()

接下来的代码实现是关于asyncio异步运行函数的，大家参考下面的形式实现即可

#把这三个函数放入task是中

tasks = [playwright_async_chromium(),playwright_async_firefox(),playwright_async_webkit()] # tasks列表用于存放task

#事件循环event loop 是asyncio的核心，会运行异步任务和回调，执行网络IO操作，运行子进程。使用get_event_loop()获取当前事件循环。

loop = asyncio.get_event_loop()

startTime = time.time()

#执行tasks队列中的函数，直到最晚的一个事件被处理完毕后结束

loop.run_until_complete(asyncio.wait(tasks))

#如果不在使用loop，建议使用关闭，类似操作文件的close()函数

loop.close()

endTime = time.time()

print("sum time: ",endTime-startTime)

代码执行，显示输出22s左右

并发代码优化

接下来我们可以优化一下代码，同样的操作在三个浏览器中运行没必要写三个函数，我们优化一下函数逻辑，直接上代码：

async def playwright_async_browser(p_browser):

    async with async_playwright() as p:

        if p_browser.lower()=="webkit":

          browser = await p.webkit.launch(headless=False)

        elif p_browser.lower()=="firefox":

          browser = await p.firefox.launch(headless=False)

        else:

          browser = await p.chromium.launch(headless=False)

        page = await browser.new_page()

        await page.goto('http://baidu.com/')

        print(await page.title())

        await asyncio.sleep(10)

        await browser.close()

可以看到，实现思路很简单，通过条件语句实现不同的参数输入来启动不同的浏览器，其他都不变，重新设置tasks即可，代码如下：

tasks = [playwright_async_browser("webkit"),playwright_async_browser("Firefox"),playwright_async_browser("chromium")]

代码执行，显示输出也是22s左右！

上面的代码就是playwright 并发运行的实现思路，希望对大家有帮助！

我的每一篇文章都希望帮助读者解决实际工作中遇到的问题！如果文章帮到了您，劳烦点赞、收藏、转发！您的鼓励是我不断更新文章最大的动力！