美文网首页
aiohttp 与 requests 网络请求比较

aiohttp 与 requests 网络请求比较

作者: 虾三 | 来源:发表于2019-04-12 15:28 被阅读0次

下面是aiohttp异步请求,与常用的requests请求比较,差距还是蛮大的,其中ensure_future这种方式与for循环调用也存在一些差距

import asyncio
import aiohttp
import time


async def task_req():
    # 耗时0.1483309268951416s
    async with aiohttp.ClientSession() as session:
        async with session.get('http://baidu.com') as resp:
            print(resp.status)


async def for_req():
    # 耗时2.0457730293273926
    async with aiohttp.ClientSession() as session:
        for i in range(100):
            async with session.get('https://baidu.com') as resp:
                print(resp.status)


def sync_req():
    # 耗时 11.768546104431152
    for i in range(100):
        requests.get('https://baidu.com')


if __name__ == '__main__':
    s = time.time()
    # 第一组
    # sync_req()    
    # 第二组
    loop = asyncio.get_event_loop()
    # tasks = [asyncio.ensure_future(task_req()) for i in range(100)]
    # loop.run_until_complete(asyncio.wait(tasks))
    # 第三组
    loop.run_until_complete(for_req())

    print(time.time() - s)

相关文章

  • aiohttp 与 requests 网络请求比较

    下面是aiohttp异步请求,与常用的requests请求比较,差距还是蛮大的,其中ensure_future这种...

  • 强大的异步爬虫 with aiohttp

    看到现在网络上大多讲的都是requests、scrapy,却没有说到爬虫中的神器:aiohttp aiohttp ...

  • Python常用第三方库总结

    网络爬虫 网络请求 requests: Requests allows you to send HTTP/1.1 ...

  • python+requests

    【requests发送请求引言】 使用 Requests 发送网络请求非常简单。 一开始要导入 Requests ...

  • 2,常用的爬虫模块及使用方法

    Requests模块 发送请求使用 Requests 发送网络请求非常简单。 一开始要导入 Requests 模块...

  • 02-发送请求-request基本使用

    requests作用 发送网络请求,返回响应数据requests中文文档 发送get请求发送带header的请求发...

  • Requests库

    发送请求 使用 Requests 发送网络请求非常简单。 一开始要导入 Requests 模块:>>>import...

  • aiohttp并发请求和普通requests对比

    一, 使用普通请求 结果 整体运行时间约1.78s 二, 使用aiohttp 结果 整体运行时间约0.044s 目...

  • aiohttp与requests效率对比

    之前使用scrapy爬取了一些代理网站的代理,因为像知乎等网站针对ip进行了反爬,如果限制了ip地址,需要使用代理...

  • Requests

    Requests库 目录一、Requests基础二、发送请求与接收响应(基本GET请求)三、发送请求与接收响应(基...

网友评论

      本文标题:aiohttp 与 requests 网络请求比较

      本文链接:https://www.haomeiwen.com/subject/usmcwqtx.html