在requests模块中使用代理发送请求

1. 代理概述

玩爬虫为什么我们不能使用一个固定IP发送请求

1. 你使用一个固定IP发送每秒向对方服务器发送10几个请求,对方认为这样操作不是人干的, 就把你IP给封了
2. 服务器端的人可以根据你IP很快锁定你, 要求你对这种窃取行为赔偿.

2. 代理

image.png

正向代理与反向代理

image.png image.png

正向代理与反向代理的区别

1. 反向代理:

服务器端知道代理的存在,反向代理是为了保护服务器或负责负载均衡
但是客户端不知道代理的存在的

2. 正向代理:

客户端知道代理的存在,正向代理是为保护客户端,防止追究责任.
但是服务端不知道真实的客户端

3. 如何在requests模块中使用代理

在requests模块中使用代理格式(重点)

   proxies = {
      "http":"http://ip:端口号"
      "https":"https://ip:端口号"
   }
   request.get(url, proxies=proxies)

使用需要账号和密码的代理

  proxies = {
      "http":"http://username:password@ip:端口号"
      "https": "https://username:password@ip:端口号"
   }
   request.get(url, proxies=proxies)

3. 代理IP的分类

根据代理ip的匿名程度，代理IP可以分为下面四类：

1. 透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。

2. 匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。

3. 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

不同分类的代理，在使用的时候需要根据抓取网站的协议来选择

4. 代理IP使用的注意点

反反爬

使用代理ip是非常必要的一种反反爬的方式，但是即使使用了代理ip，对方服务器任然会有很多的方式来检测我们是否是一个爬虫，比如：

1. 一段时间内，检测IP访问的频率，访问太多频繁会屏蔽
2. 检查Cookie，User-Agent，Referer等header参数，若没有则屏蔽
3. 服务方购买所有代理提供商，加入到反爬虫数据库里，若检测是代理则屏蔽，所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用，不要每次都用一个代理ip

代理ip池的更新

1. 购买的代理ip很多时候大部分(超过60%)可能都没办法使用，这个时候就需要通过程序去检测哪些可用，把不能用的删除掉。

使用代理的好处:

1. 让目标服务器以为不是同一个客户端在请求，防止因为同一个ip发送请求过多而被反爬
2. 防止我们的真实地址被泄露，防止被追究,保护自己

参考