学会使用Fiddler抓包

作者: 倔强的潇洒小姐 | 来源:发表于2017-07-31 09:46 被阅读431次

    阅读目录

    1、Fiddler 的基本原理
    2、为什么选择Fiddler,而不是其他工具
    3、通过爬虫 与 Fiddler 的关系,明白为什么需要进行抓包
    4、Fiddler设置HTTPS代理
    5、使用QuickExec命令行(类似我们平常说的快捷键)
    6、进行案例的分享

    一、Fiddler 的基本原理

    我们使用浏览器或者客户端软件都要与外界进行通信,就必然会有数据的发送和接收,有时候需要对这些传递的数据进行分析,因此需要截获这些传递的数据。

    其中对这些数据进行截获、重发、编辑、转存的过程叫做抓包

    Fiddler 的基本原理.png

    本地应用与服务器之间所有的Request 和Response都将经过Fiddler,由Fiddler进行转发,此时Fiddler以代理服务器的方式存在。

    由于所有的网络数据都会经过Fiddler,因此Fiddler能够截获这些数据,实现网络数据的抓包,可以详细地对HTTP请求进行分析,并模拟对应的HTTP请求。

    二、为什么选择Fiddler

    1、本地化的工具,是一个使用本地 127.0.0.1:8888 的 HTTP 代理
    (免费的web调试代理工具,支持任何浏览器、系统或平台)

    启动Fiddler后,通过浏览器访问:http://127.0.0.1:8888

    浏览器访问.png

    (1)任何能够设置 HTTP 代理为 127.0.0.1:8888 的浏览器和应用程序都可以使用 Fiddler
    (2)工具打开后,就自动设置了IE浏览器的代理,工具关闭后,IE的设置也将被还原

    代理设置.png

    2、Fiddler本身对http协议支持较好,且操作简单容易上手
    3、具有抓包和分析功能,省去了安装其他工具的必要
    4、工具本身功能强大
    (1)劫包:模拟接口不给前端返回数据,看前端怎么处理,如果没有工具,就只能采用断网、停用服务器
    (2)篡改数据:假设没法去模拟前端对于接口返回数据很长时,怎么去展示,换行?截取?小屏幕上页面扭曲?如果通过篡改数据,就能直观的把数据返回给前端展示,很明显的看到前端数据是什么样的,就不需要从底层改数据
    (3)模拟低速、弱网环境等,有些元素加载不出来会导致样式问题

    三、爬虫 与 Fiddler 的关系

    网络爬虫是自动爬取网页的程序,在爬取的过程中必然会涉及客户端与服务端之间的通信,也需要发送一些HTTP请求,并接受服务器返回的结果。
    有些网址变化肉眼是看不出规律的,这时配合抓包软件会变得较容易。

    案例:简书网页底部“阅读更多”
    在浏览一些图片网站时,浏览到最下面的时候会出现一个“阅读更多”的字样,此时单击“阅读更多”页面上显示更多内容,加载出来的内容跟原来的内容是在同一个网页上展示的。我们直接看网址的变化是看不出任何规律的,便无法分析该请求是如何实现的,无法通过程序构造出该请求。

    阅读更多.png

    此时可以通过Fiddler 进行抓包,对这些数据进行分析,查看request headers 发现是通过Get请求来实现的,总共有3个参数:order_by、page、per_page

    通过分析就可以知道页面上只显示20篇文章,之后就需要通过阅读更多进行加载
    每点击一次阅读更多,相当于在修改page值

    请求数据.png

    知道实现规律后,就可以通过编写程序构造出对应的请求,并由程序自动地实现这些请求的发送。
    假如修改page为3、4、5,在新窗口进行访问,与页面阅读更多进行比对

    四、设置HTTPS代理(抓取Firefox上的https请求)

    Fiddler 默认是抓 http请求的,对于pc上的 https请求,会提示网页不安全,这时候需要在浏览器上安装证书

    Fiddler可以通过伪造CA证书来欺骗浏览器和服务器,大概原理就是在浏览器面前Fiddler伪装成一个HTTPS服务器,而在真正的HTTPS服务器面前Fiddler又装成浏览器,从而实现解密HTTPS数据包的目的。

    打开百度提示不安全.png

    解决办法

    1、检查Fiddler设置

    • 打开菜单栏:Tools>Fiddler Options>HTTPS
    • 勾选Decrypt HTTPS traffic,里面的子菜单也一起勾选了
      (检查没有问题)

    2、导出证书

    • 点右上角Actions按钮(Tools>Fiddler Options>HTTPS)
    • 选第二个选项,导出到桌面,此时桌面上会多一个文件:FiddlerRoot.cer
    导出证书.png

    3、导入到Firefox浏览器

    • 打开浏览器,工具>选项>高级>证书>查看证书>证书机构>导入
    • 下载证书弹出框,勾选三个选项,确定
    导入证书到Firefox浏览器.png

    测试下结果,打开百度网页,成功了,接下来就可以进行抓包了

    测试https请求.png

    五、使用QuickExec命令行

    1、cls (或 clear) 清屏命令
    清空会话列表中的所有会话

    2、select 筛选某一类型的会话命令
    select html,输入命令后敲回车键,在会话列表中所有html类型的会话都已被选中

    筛选某一类型的会话命令.png

    3、? 查找网址中包含某些字符的会话信息
    如 ?jianshu 可以查找出网址中包含“jianshu”字符串的会话信息,跟其他会话信息用不同颜色区分显示

    ? 查找信息.png

    4、help 帮助命令
    打开官方的使用页面介绍,所有的命令都会列出来

    5、bpu、bpafter 断点命令

    image.png
    • bpafter 网址/会话名:修改Response,中断某一具体的会话
      比如 bpafter www.baidu.com
      如果想消除命令的话,在命令行中输入“bpafter”

    6、dump 快速保存

    保存.png

    六、案例分享

    铁路网的货物跟踪 为例

    页面有车号、货票号、验证码三个字段,通过输入不同格式的值来观察页面提示与 Fiddler 抓包返回的 json值

    1、先输入格式正确的值,点查询

    页面提示与 Fiddler 抓包返回的 json值.png

    2、修改货票号的位数,点查询

    修改货票号的位数查询结果.png

    刚接触Fiddler时,遇到这种情况我们肯定会有疑惑,那接下来就分析下为什么会是这样的结果:

    1、两次抓包的接口是一样吗?第一个是post,第二个是get,不是同一个
    2、第二个请求没有发出去,应该是前端直接对数值的位数做了校验的,这个时候就不会调接口,所以就没有数据显示了



    如想更深入的使用Fiddler,请查看进阶篇

    相关文章

      网友评论

      • 优雅的猪:感觉Charles更加好用一些
        倔强的潇洒小姐:@优雅的猪 嗯,原理都差不多,Charles我没用过
      • 是小亦啊:很赞,刚好公司有新员工入职,需要给简单讲解下fiddle抓包工具的使用,能否转载一份
        是小亦啊: @倔强的潇洒小姐 非常感谢👍👍
        倔强的潇洒小姐:@夏目家的尼安先生 可以的,没有问题
      • IDO老徐:这个写的不错,可以收录至公众号, 是原创的么 ? 看到评论,微信下老徐。

      本文标题:学会使用Fiddler抓包

      本文链接:https://www.haomeiwen.com/subject/aqaklxtx.html