美文网首页
几分钟学会隧道代理的使用

几分钟学会隧道代理的使用

作者: SunY7 | 来源:发表于2023-05-10 16:05 被阅读0次

当我们有时使用爬虫的时候,如果频繁对某一个界面请求过太多的次数,那么有些网站就会因为反爬虫的措施发现同一个IP地址对它请求了太多的次数,因此对我们的爬虫进行了禁止,你必须要登录这个网站才能够继续进行爬虫。这个时候呢,如果我们能够直接在请求网页的时候不断更换自己的IP地址,就不会被系统检查出来。因此,这也是我们需要使用动态IP代理的缘故。
经常会看到大家在群里面讨论隧道代理,那今天我们就来重点了解下隧道代理。所谓隧道代理就是一个能帮你自动更换代理 IP 的代理服务,在你的代码里面,你只需要把一个入口代理地址写死,然后正常发起请求,而目标服务器接收到的请求,每一次都是不同的代理地址。隧道代理的原理,跟常规代理的不同之处,是自动转发技术,通过配置固定代理域名、端口、用户名和密码直接使用,默认每个http请求自动转发,不需要绑定IP白名单。有demo参考使用,方便快捷,适合快速启动项目。
网上有很多的隧道代理提供,那么很多小伙伴要问了,这种代理怎么使用呢?我们今天就重点分享下如何使用隧道代理,最简单的粗暴的方式就是以实际的示例

! -- encoding:utf-8 --

import requests
import random

# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"

# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"

# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}

# 设置 http和https访问都是用HTTP代理
proxies = {
    "http"  : proxyMeta,
    "https" : proxyMeta,
}


#  设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}



resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code
print resp.text

这是最简单的使用方式,代码我们已经试验过了,代码示例可以直接使用,而且这种使用方式真的很方便,但是代理是使用不了的,因为是过期了,有需要的可以直接找上面的代理商购买使用。

相关文章

  • 使用ccproxy的二级代理转换socks5代理为http代理

    在通过SSH隧道配置http代理文中,使用了Privoxy来实现转换socks5代理为Http代理,但是Privo...

  • 代理,网关,隧道

    代理,网关,隧道,有什么区别与联系? 代理、网关、隧道?原文链接:https://kuaibao.qq.com/s...

  • 基于Netty的HTTP代理

    HTTP代理协议 HTTP代理分为两种模式:HTTP模式、隧道(TUNNEL)模式。 HTTP模式 客户端会将代理...

  • ssh隧道用于调试

    相关阅读 SSH隧道与端口转发及内网渗透 | 个人博客 SSH隧道技术----端口转发,socket代理 | 博客...

  • selenium无法使用隧道代理的解决方案

    url https://www.cnblogs.com/yijian001/p/10054156.html

  • 代理类型-开放代理

    代理有两种主要类型:开放和反向。 今天来讲一下开放代理。 开放代理 开放代理也称为转发代理或隧道代理,它们用于从W...

  • ssh 隧道应用&代理

    一般情况 user ---> 跳板机 ----> 服务器1 user 可以ssh连接跳板机,但是不能直接连接服...

  • 网关、代理和隧道

    网络中经常需要用到网关、代理和隧道,但很多人对它们的用途却是傻傻分不清楚,为了便于理解,本文特将它们整理到一起进行...

  • SSH隧道技术

    SSH隧道(即SSH代理、端口转发),现在linux默认支持的就是ssh登录。对于SSH隧道,如果之前没接触过,只...

  • 通过SSH隧道连接mysql

    SSH隧道的类型 SSH隧道有3种类型: 动态端口转发(Socks 代理) 本地端口转发 远端端口转发 通过本地端...

网友评论

      本文标题:几分钟学会隧道代理的使用

      本文链接:https://www.haomeiwen.com/subject/fcljsdtx.html