美文网首页Ethical Hackers
06 勘察:使用 WebScarab 爬取站点

06 勘察:使用 WebScarab 爬取站点

作者: 半个王国 | 来源:发表于2016-08-18 20:58 被阅读496次

WebScarab 是另外一个 Web 代理,这篇文章,我们将用这个工具来爬取一个站点。

WebScarab 默认使用 8008 端口抓取HTTP请求,因此这里我们要改一下浏览器代理配置。参考 Owasp-Zap 和 Burp Suite 工具那两篇文章配置下浏览器代理。本文我们配置代理端口为8008。

实施步骤

首先,打开我们的漏洞靶机:Vulnerable_VM 【配置参见:测试环境搭建】

在Kali系统中启动WebScarab:03 Web Application Analysis | webscarab。用浏览器访问靶机中的Bodgeit应用 http://192.168.56.102/bodgeit/ 。 此时,我们切换到WebScarab的Sumary标签页,可以看到如下内容,此时右击bodgeit目录,选择Spider:

Summary视图

此时,Spider开始爬取站点,Summary标签页的下半个试图中会显示每个请求详情:

Paste_Image.png

Summary 中也可以显示某个特定文件的相关信息;例如,该页面是否存在注入或可能的注入漏洞,请求是否有cookie操作,表单,是否包含隐藏字段等。它还能告知我们,这个页面是否含有代码注释信息或是文件上传信息。右键单击下半边的任意请求,查看下我们可以在上面执行的操作有哪些。下面我们分析一个请求,找到path /bodgeit/search.jsp,右键单击它,选择 Show conversation,此时在弹出的新窗口中,我们可以看到不同格式显示的请求和相应,如下图所示:


ShowConversation Paste_Image.png

下面点击 Spider 标签页:

Paste_Image.png

在这个标签页面,我们可以调整,我们通过调整 Allowed Domains 和 Forbidden Domains 里面的正则表达式,来确定爬取的过滤规则。我们还可以在 Fetch Tree 中更新结果。通过 Stop 按钮停止爬虫。

原理

WebScarab的爬虫同 ZAP 和 Burp Suite 类似,方便我们发现网站的可疑链接,深入分析请求,并作为进一步深入测试的依据。

相关文章

  • 06 勘察:使用 WebScarab 爬取站点

    WebScarab 是另外一个 Web 代理,这篇文章,我们将用这个工具来爬取一个站点。 WebScarab 默认...

  • 04 勘察:使用 Burp Suite 爬取站点

    Burp 被广泛用于应用安全测试工具(和ZAP类似,有很多特色功能和易于使用的接口)。 Burp的能耐远远不限于爬...

  • 关于近期爬虫学习的总结

    在之前的三篇文章中,我尝试了使用python爬虫实现的对于特定站点的《剑来》小说的爬取,对于豆瓣的短评的爬取,也有...

  • scrapy设置时间间隔

    当使用 scrapy 大规模爬取某一站点的页面时,有时候会因爬取过于频繁而被封IP,导致出现400等错误。 此时的...

  • 使用scrapy-deltafetch实现增量爬取

    Scrapy学习笔记-使用scrapy-deltafetch实现增量爬取 前言 在之前的文章中我们都是对目标站点进...

  • 爬虫代码集

    一、简单爬取猫眼(使用字符串) 二、简单爬取豆瓣(使用XPATH) Beautiful Soup爬取

  • 爬虫:5.增量爬取和去重

    增量爬取和去重 增量爬取 当一个站点有数据更新的时候,需要进行增量爬取,通常有以下集中情况 某个特定页面数据更新 ...

  • Scrapy 的断点爬取

    Jobs: 暂停,恢复爬虫 有些情况下,例如爬取大的站点,我们希望能暂停爬取,之后再恢复运行。 Scrapy通过如...

  • 使用aiohttp+MongoDB完成异步爬虫

    我们知道爬虫是 IO 密集型任务,比如如果我们使用 requests 库来爬取某个站点的话,发出一个请求之后,...

  • python爬取猫眼电影top100榜单

    项目目标:使用 requests 库和正则表达式爬取猫眼电影 Top100 榜单,并保存为文件 目标站点分析 电影...

网友评论

    本文标题:06 勘察:使用 WebScarab 爬取站点

    本文链接:https://www.haomeiwen.com/subject/ezbvsttx.html