requests，scrapy，chrome设置代理方法

前言

• 在开发爬虫时，有时候为了应对一些反爬机制比较严格的网站时，需要使用代理IP，用以隐藏自己真实IP地址或解封爬虫。本文针对三种常用的爬虫工具，介绍一下代理IP的设置方法。

requests

• requests是python crawler使用得比较多的第三方模块了，功能非常强大，在开发小型爬虫时经常使用到。requests中设置代理非常方便，通过requests的proxies参数添加，代码如下：

import requests
proxies = {
  'http':'http://127.0.0.1:6878',
  'https':'https://127.0.0.1:8687'
}
response = requests.get(url='http://httpbin.org/get',proxies=proxies).text

• 通过text可以验证一下代理IP是否成功设置

webdriver.Chrome

• 有时候在遇到一些需要动态渲染页面时候，requests无法完整获取html页面。这时候我们需要使用selenium驱动Chrome进行渲染。当然selenium的用处还有很多，例如进行模拟登陆以及验证码的处理等。
• webdriver.Chrome设置代理IP也很方便，使用webdriver.ChromeOptions()进行添加：

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://127.0.0.1:9876')
brower = webdriver.Chrome(chrome_options = chrome_options)
browser.get('http://httpbin.org/get')

scrapy

• scrapy是一个使用广泛，功能非常强大的爬虫框架。其内置了异步与多线程以提高爬取效率。通过定制Middlewares中间件可以与requests，selenium，Splash衔接，灵活的解决cookeis，proxy，验证码等常规放爬手段。
• 在进行大规模的数据爬取或分布式数据抓取时，scrapy无疑是一个非常不错选择。
• scrapy的代理IP设置通过对scrapy.Request中的meta字段进行添加：

yield scrapy.Request(url='http://httpbin.org/get',meta = {'proxy' : 'http://172.0.0.1:8634'} ,callback = self.parse)

• 当然，如果你选择Download Middlewares中间件中进行代理IP的设置也ok：

class ProxyMiddlewares():
  ....
  def process_request(self,request,spider):
    request.meta['proxy'] = 'http://127.0.0.1:2333'
  ....

• 如果你在进行页面渲染的时候使用的是Splash，那代理的设置会有些区别：

class ProxyMiddlewares():
 ....
 def process_request(self,request,spider):
   request.meta['splash']['args']['proxy'] = 'http://127.0.0.1:2333'
 ....

后记

• 以上就是几类常用爬虫工具的代理IP设置方法，日后再写一篇关于Cookies设置的文章。如果你对文章内容有任何疑问，请留言或者私信～

  
  皮一下.png