Python aiohttp模块使用笔记

本文是在使用aiohttp模块时的一点笔记。代码在Python 3.7下运行。

基本使用

import ayncio
import aiohttp

async def main():
    async with aiohttp.ClientSession(
            headers={"User-Agent":"aiohttp"},
            timeout=aiohttp.ClientTimeout(total=3)) as session:
        async with session.get('http://httpbin.org/get') as resp:
            print(resp.status)
            print(await resp.text())
            # body = await resp.read()  # 读取字节流
            # body_json = await resp.json()  # 获取json对象，若Content-Type响应头不等于content_type参数（默认是application/json）会抛aiohttp.ContentTypeError异常，可以改为await resp.json(content_type=None)，就不会去验证该响应头了，但如果JSON解码错误也会抛异常，抛json.JSONDecodeError异常

asyncio.run(main())

资源释放

1. session要释放，调用await session.close()或使用async with。对于response，要调用resp.close()或使用async with。

2. 不能在读数据（如await resp.read()等）之前调用await resp.release()，否则会阻塞在读数据操作。

3. 若报warning: Unclosed connection，则检查资源是否释放。如其中一种情况：

   resp = await session.get(url)
   await resp.read()  # 不加这句或下面一句的话就会报warning：Unclosed connection
   await resp.release()
   

设置超时

session = aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=3))
# 或
session.get(url, timeout=aiohttp.ClientTimeout(total=3))
# 若超时则抛asyncio.TimeoutError异常

超时要自己设置，因为默认是5分钟，太长了

代理

# 没有给ClientSession对象传递proxy的方式，只有在请求时设置代理

session.get(url, proxy="http://127.0.0.1:8080")
# 代理不可用会抛aiohttp.ClientHttpProxyError异常

不验证ssl证书（注意考虑流量劫持）

session = aiohttp.ClientSession(connector=aiohttp.TCPConnector(verify_ssl=False))
# 或
session.get(url, ssl=False)

指定cookie

async def foo():
    cookies = {'csrfToken': "my_value"}
    async with aiohttp.ClientSession(cookies=cookies) as session:
        print(session.cookie_jar.filter_cookies("https://xxx.com"))
        async with session.get("https://xxx.com") as rp:
            print(rp.cookies)
            print(session.cookie_jar.filter_cookies("https://xxx.com"))
            

通过ClientSession的cookies参数指定cookies，使用该session请求任一的站点都会带上此cookie。若响应头带有set-cookie: csrfToken=1010753502;Expires=...;Domain=...;path=/;，session会根据该响应头更新csrfToken这个cookie值，且加上domain、expires等信息。

若不想使用该session请求任意站点都带上此Cookie，可以：

async def foo():
    cookies = {'csrfToken': "my_value"}
    async with aiohttp.ClientSession(cookies=cookies) as session:
        from yarl import URL
        session.cookie_jar.update_cookies(cookies, URL("https://xxx.com"))
        # 使用该session请求xxx.com站点时才携带此Cookie

清除session里的cookies：session.cookie_jar.clear()

ValueError: too many file descriptoersin select()报错问题

一般是并发请求数太大导致的，通常通过减少并发数解决。

我遇到的情况：并发量设置的不高，运行一段时间后报该错误。通过搜索、调试，最后看aiohttp文档时发现是因为请求的https站点的服务器没有正确完成ssl连接，需要指定一个叫enable_cleanup_closed的参数为True：

session = aiohttp.ClientSession(connector=aiohttp.TCPConnector(enable_cleanup_closed=True)

官方对enable_cleanup_closed参数的解释：

Some ssl servers do not properly complete SSL shutdown process, in that case asyncio leaks SSL connections.
If this parameter is set to True, aiohttp additionally aborts underlining transport after 2 seconds. It is off by default.