美文网首页js css html
430.【爬虫】单独给浏览器设置代理

430.【爬虫】单独给浏览器设置代理

作者: 七镜 | 来源:发表于2022-09-17 22:03 被阅读0次

    我们一般在通过代理采集数据时,会在电脑端设置全局代理,如下所示:

    设置代理前
    这个方法会导致所有流量都经过 8080 代理端口。现在我想用 mitmproxy 采集一个网站的数据,是不希望所有流量都走 mitmproxy 的。这里推荐一个谷歌浏览器的插件来解决这个问题(下载地址在文末)。

    一、新建场景


    这里的意思是:该场景中,流量都经过代理服务器:127.0.0.1,代理端口:8080

    二、配置情景模式:auto switch


    这里的意思是:域名匹配时,才使用第一步配置的“本地mitmproxy代理”

    三、实际使用

    点击扩展插件,点击 Proxy SwitchyOmega 插件


    四、选择场景模式

    这里点击 auto switch(第二步,配置的)


    五、愉快的使用代理采集数据了

    OK

    谷歌浏览器插件地址:https://chrome.google.com/webstore/detail/proxy-switchyomega/padekgcemlokbadohgkifijomclgjgif

    相关文章

      网友评论

        本文标题:430.【爬虫】单独给浏览器设置代理

        本文链接:https://www.haomeiwen.com/subject/irpeortx.html