大家好，昨天我们讨论了一下爬虫与反爬虫之间的对抗，不可谓不激烈，今天我们主要来讨论应对反爬虫中非常重要的一种手段，那就是IP代理。
正常来说，我们访问一个URL是这样的：
image.png
客户端向URL所在的服务器发起请求，是会携带本机IP地址的，这样服务器就能获取到我们的IP地址，当这个IP地址在一个时间段内发起请求过于频繁，可能就会限制其一段时间内无法访问。
在编写爬虫程序的过程中，为了防止这种情况发生，就需要用到IP代理，IP代理的原理是这样的：
image.png
第一步：我们会向代理服务器发起请求，告诉代理服务器我们要访问https://www.zhihu.com
第二步：代理服务器会代替我们向https://www.zhihu.com发起请求
第三步：服务器接收到代理服务器发来的请求后，就会将数据返回给代理服务器
第四步：代理服务器接收到服务器返回的数据后，就会将数据发送给客户端
这样，通过代理服务器向URL所在的服务器发起请求，就能完美地隐藏我们自身的IP，从而使得我们的IP不会被限制访问。
但是这样做，当然会有代价，我们通过IP代理来获取我们想要的数据，需要通过代理服务器转发一下，这样自然就会导致爬取的速度变慢，只有使用本机IP发起请求才是最快的。
接下来，我们还是老规矩，通过代码来演示下如何通过IP代理来发起请求：
import requests
# 免费代理可以从https://www.xicidaili.com/中获取到，但是免费的ip代理存活率很低
proxy = {
'http': '183.148.158.64:9999'
}
res = requests.get('https://www.baidu.com', proxies=proxy)
print(res.text)
# 如果能正确返回结果，那么就说明当前ip代理是存活的，是可以用的，否则当前ip代理是失效的
仅仅有一个代理ip是不够的，我们应该维护一个属于自己的ip代理池，当某一个ip代理失效的时候，就将它剔除出去，那么如何维护一个可用的ip代理池呢？
# 第一步：通过https://www.xicidaili.com/wt/获取到ip_list
import requests
from bs4 import BeautifulSoup
import random
def get_ip_list(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
}
res = requests.get(url, headers=headers)
res = BeautifulSoup(res.text, 'html.parser')
results = res.select('#ip_list tr')
for result in results[1:]:
ip = result.select('td')[1].text
port = result.select('td')[2].text
judge(ip, port)
# 获取到了ip之后，并不能直接保存，首先应该判断是否可用
# 第二步：判断获取到的ip是否有效
ip_list = []
def judge(ip, port):
proxy = {'http': ip+':'+port}
try:
res = requests.get('https://www.baidu.com', proxies=proxy)
except Exception:
print('该ip：' + ip + '无效')
return False
else:
if 200 <= res.status_code < 300:
# 返回的状态码在200到300之间表示请求成功
ip_list.append((ip, port))
return True
else:
print('该ip：' + ip + '无效')
return False
# 第三步：从ip_list中随机获取一个ip
def get_random_ip():
ip, port = random.choice(ip_list)
result = judge(ip, port)
if result:
return ip + ':' + port
else:
ip_list.remove((ip, port))
# 第四步：调用上述函数
if __name__ == '__main__':
get_ip_list('https://www.xicidaili.com/wt/')
print(ip_list)
print(len(ip_list))
完整代码如下：
import requests
from bs4 import BeautifulSoup
import random
ip_list = []
def get_ip_list(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
}
res = requests.get(url, headers=headers)
res = BeautifulSoup(res.text, 'html.parser')
results = res.select('#ip_list tr')
for result in results[1:]:
ip = result.select('td')[1].text
port = result.select('td')[2].text
judge(ip, port)
def judge(ip, port):
proxy = {'http': ip+':'+port}
try:
res = requests.get('https://www.baidu.com', proxies=proxy)
except Exception:
print('该ip：' + ip + '无效')
return False
else:
if 200 <= res.status_code < 300:
ip_list.append((ip, port))
return True
else:
print('该ip：' + ip + '无效')
return False
def get_random_ip():
ip, port = random.choice(ip_list)
result = judge(ip, port)
if result:
return ip + ':' + port
else:
ip_list.remove((ip, port))
if __name__ == '__main__':
get_ip_list('https://www.xicidaili.com/wt/')
print(ip_list)
print(len(ip_list))
这样，我们就得到了一个可用的ip代理池，可惜，遗憾的是免费的ip代理往往不稳定，绝大多数ip都是不可用的，大家可以去尝试下。
好啦，今天的讨论到这里就结束了，大家加油。
网友评论