美文网首页
爬虫相关

爬虫相关

作者: 半个王国 | 来源:发表于2016-08-08 18:53 被阅读57次

前一个系列的文章是关于勘察的,下面这个系列是关于爬虫的,主要内容如下:

  • 使用 Wget 下载一个页面用于离线分析
  • 使用 HTTrack 下载一个页面用于离线分析
  • 使用 ZAP 的 Spider
  • 使用 Burp Suite 爬取一个网站
  • 使用 Burp 的 repeater 重发请求
  • 使用 WebScarab
  • 识别爬取结果中的相关文件和目录

简介

渗透测试的实施途径有很多,比如黑盒、灰盒、白盒测试。黑盒测试,事先不知道待测系统的信息,只知道服务的URL地址。 白盒测试,测试团队事先了解被测系统的全部信息,基础设施架构、软件版本、测试用账户信息、开发信息等 。灰盒测试,可以理解为介于黑盒和白盒之间的混合测试。

不管黑盒还是灰盒测试,勘察阶段都是发现白盒测试中所用信息(应用所有者提供的),的必要手段。下面,我们继续以黑盒测试的途径(该途径覆盖了外部攻击者获取用于渗透到应用或服务的特定功能所需信息所有步骤)继续讨论。

跟所有Web系统渗透测试的勘察阶段一样,我们要先去浏览并保存目标站点的所有页面和文件。类似于 Web Crawler和 Web Spider 的工具可以帮我们快速实现这一目标。这些工具跟进所有的链接或外部文件索引,有时候还能构造某些秒单并发给服务器,报存所有的请求和响应,以供我们进行相应的离线分析。

这个系类的文章里,我们会讨论如何利用 Kali 中提供的一些爬虫工具, 来获取网页内容。

相关文章

  • 爬虫相关

    前一个系列的文章是关于勘察的,下面这个系列是关于爬虫的,主要内容如下: 使用 Wget 下载一个页面用于离线分析 ...

  • 爬取1000条百度百科词条

    爬虫是什么? 爬虫是一段自动抓取互联网信息的程序,从而可以更好利用数据进行相关分析,做出相关决策。 简单的爬虫架构...

  • 网络爬虫(四)

    爬虫大约分三种: 通用爬虫: 获取相关页面整页数据。 聚焦爬虫:根据所需抓取页面指定的数据。 增量爬虫:检测到网页...

  • GO学习笔记(24) - 爬虫(1) - 入门

    目录 爬虫的法律风险 - robots协议 开源框架: Crawlab 开源框架: colly 爬虫相关知识(待补...

  • Python第二天(爬虫相关)

    单行注释# 爬虫需要掌握的技术 1. python基础语法 2. HTML结构 3. 爬虫模块的使用 爬虫相关 安...

  • 爬虫性能相关

    背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串...

  • 爬虫相关总结

    在做防止网站被爬虫爬取数据的时候,其中最简单的方式就是判断请求是程序生产的,还是人为生成的。 当然,最简单的就是通...

  • python爬虫相关

  • Node爬虫相关

    网络爬虫开发 第1章 课程介绍 什么是爬虫 爬虫的意义 课程内容 前置知识 什么是爬虫 可以把互联网比做成一张“大...

  • 爬虫相关科普

    爬虫分类 https://www.kancloud.cn/ziyifeng/seo_one/204439 (1)通...

网友评论

      本文标题:爬虫相关

      本文链接:https://www.haomeiwen.com/subject/oqrbjttx.html