做爬虫的时候,有的时候需要使用代理服务器访问一些网站,这个时候可以使用pysocks这样一个库通过socks5来实现。
安装pysocks
pip install pysocks
代理访问
import socket # 内置库
import requests # 需要安装:pip install requests
import socks # 需要安装:pip install pysocks
# 代理服务器IP(域名)
socks5_proxy_host = '127.0.0.1'
# 代理服务器端口号
socks5_proxy_port = 1111
# 设置代理
socks.set_default_proxy(socks.SOCKS5,socks5_proxy_host,socks5_proxy_port)
socket.socket = socks.socksocket
# 某个必须通过代理才能访问的网站
url = 'https://www.example.com'
resp = requests.get(url)
# 查看响应结果
print resp.status_code
网友评论