美文网首页大数据 爬虫Python AI Sqlpython小课——零基础入门——学习笔记
提高爬虫开发效率的几个小工具,学会之后很esay了!

提高爬虫开发效率的几个小工具,学会之后很esay了!

作者: IT领域君 | 来源:发表于2020-05-02 14:50 被阅读0次

    前言

    一般开发爬虫的时候,最心烦的不是它的反爬有多复杂,而是它的参数贼多,要一个个的复制进去。

    所以自己写了一个小工具,把抓包抓到的 header、data、cookie 这些参数转换成 python 代码。

    大大的提高开发效率,其实代码之前已经开源了,不过用起来不太方便,于是最近就把它弄到了线上,用起来方便多了。

    涉及到的工具或技术

    Python 3.7

    Fiddler v5.0

    Charles v4.2.8

    小工具

    在线转换的工具网站: alisen39.com/

    将 webForms 的数据转成 dict 格式

    工具地址:alisen39.com/FiddlerData

    在 Fiddler 里面,webForms 的数据是 POST 请求所带的参数

    可以直接将其复制出来然后转换成 dict 格式,如下:

    然后将转换后的结果直接复制到你的爬虫代码里面就可以使用了!

    将 Header 数据转成 dict 格式

    工具地址:alisen39.com/FiddlerHead…

    Fiddler 里的 Header 部分,在 Raw 选项里面:

    将其复制出来,然后粘贴到左边:

    将 Cookies 的数据转成 dict 格式

    工具地址:alisen39.com/FiddlerCook…

    Fiddler 里抓到的 Cookies 数据:

    将其复制出来,然后粘贴到左边:

    重磅工具!将 raw 的数据转成 reqeusts代码

    最重磅的一个功能!直接将包的内容转成python代码,真心节省90%的时间。

    工具地址:alisen39.com/HttpRaw

    复制抓到的Raw信息,从Fiddler或者Charles里都可以。

    将其复制出来,然后粘贴到左边:

    再将右边的代码复制到你的IDE里面去

    就这么esay了。

    重点来了

    小编今天的学习资料是给刚刚要开始学习Python的小伙伴准备的,也有一些Python开发技术、Python爬虫入门到实践、Python爬虫开发到项目实践的学习资料,需要的可以添加助理w❤:bjmsb07 免费获得。

    Python学习路线及757.6MB视频

    1.Python的自述

    2.Python开发环境的搭建

    3.print函数的使用

    4.转义字符与原字符

    5.二进制与字符编码

    6.保留字_标识符_变量及其使用

    7.数据类型

    8.Python中的注释

    10.input函数的使用

    11.算术运算符

    12.赋值运算符

    13.比较运算符

    14.布尔运算符

    15.位运算符

    16.运算符的优先级

    17.程序的组织结构_对象布尔值

    18.单分支_双分支_多分支结构

    19.嵌套if

    20.条件表达式_pass语句

    Python基础学习路线

    Python757.6MB视频

    学习Python 需要掌握的6大PPT

    学习Python需要学习的PDF技术文档

    Python不管是从学习路线到视频,到PPT,再到PDF技术文档,小编在这里已经全部整理完了,需要获取的小伙伴就可以转发此文,关注小编,需要的可以添加助理w❤:bjmsb07 免费获得。~~

    相关文章

      网友评论

        本文标题:提高爬虫开发效率的几个小工具,学会之后很esay了!

        本文链接:https://www.haomeiwen.com/subject/orukghtx.html