代理使用

通过ads拨号，每访问一次更改一次IP地址，不过ip范围大致相同，又可能被封

普通代理（proxies参数）

import requests

# 根据协议类型，选择不同的代理
proxies = {"http":"http://12.34.56.79:9527","https":"http://12.34.56.79:9527",}

response = requests.get("http://www.baidu.com", proxies = proxies)

print(response.text)

私密代理验证

适用于代理数量大，要求品质比较高的爬虫，一般用不到
proxies = {"协议": "用户名:密码@ip地址:端口号"}

import requests
# 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式：

proxy = {"http":"mr_mao_hacker:sffqry9r@61.158.163.130:16816"}

response = requests.get("http://www.baidu.com", proxies = proxy)

print(response.text)

环境变量代理

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"

$ python
import requests
requests.get("http://example.org")