美文网首页
自动化WEB信息采集

自动化WEB信息采集

作者: Lucifer1993 | 来源:发表于2019-05-08 17:23 被阅读0次

CDN判断

CDN主要有主动识别和被动识别两种方式,主动识别是利用多地ping或者dig或者网站解析历史这类工具解析是否属于CDN网络;被动识别则是通过网站发送邮件或者API来请求你的方式,判断是否是CDN以及获取CDN网络后真实的IP

自动化判断还是通过ping和dig来匹配关键字,一般带有vhost,cloud这类有可能就是cdn

cdn.png

WAF/CDN识别

一般网站的HTTP headers响应头中会有标识是什么CDN或者什么WAF,所以建立好规则字典,判断是否headers在字典中即可

cdnwaf.png

比较键是否存在再比较值是否匹配

diccompare.png

HTTP headers安全性

获取响应头判断是否设置即可
参考>https://github.com/meliot/shcheck

hsec

wafw00f识别waf

wafw00f是python的一个模块,里面定义了很多WAF的匹配规则,直接拿来用就行

wafw00f.png

builtwith识别前端组件

builtwith也是python的一个模块,主要用它来识别前端框架,但是需要用取消SSL证书校验来支持HTTPS类型的网站

builtwith.png

whatweb识别后端组件

whatweb是ruby编写的经典web信息识别程序,也可以直接调用

whatweb.png

whois检索网站注册信息

网站注册信息采集,linux和mac自带的

最后再弄个html模板包装一下信息收集的返回结果

check.png result1.png result2.png

相关文章

  • 自动化WEB信息采集

    CDN判断 CDN主要有主动识别和被动识别两种方式,主动识别是利用多地ping或者dig或者网站解析历史这类工具解...

  • 标准lims系统有哪些核心功能模块

    模块7-数据采集 数据自动智能采集系统是试验自动化控制设备与试验数据管理之间的信息纽带。平台开发的数据采集组件提供...

  • WebScraper

    WebScraper 爬虫 爬虫初解 采集信息用的程序一般被称为网络爬虫(web crawler)、网络铲(web...

  • 第二章 日志采集之移动端日志采集

    移动端日志采集: 1)除了web页面日志采集的相关内容来提升用户体验外,还需要采集各种设备信息,以及各种设备的运行...

  • 爬虫系统概述

    网络爬虫,是用来采集信息的程序的昵称之一,英文称为Web Crawler;也有称之为Web Scrper,网络铲...

  • Taro + ts 小程序中使用 Web Tracking采集数

    Web Tracking 简单来说,是做数据采集的,比如一些报错信息等,用于数据错误分析!日志服务支持通过Web ...

  • 信息产品的三个关键页面

    信息产品即是以向用户提供信息、传递信息为核心服务的产品,它的整个工业流程包括采集、存储、传输和检索。Web2...

  • 第十九单元 web端自动化基础篇

    一、认识web自动化测试 什么是自动化测试? 了解为什么要进行自动化测试? 掌握自动化测试的分类? web自动化测...

  • 《关键词阅读术》:有一种职业叫信息采集员

    #提高信息采集能力的关键词阅读术##村上悠子##Forest出版##信息采集员##专业采集员##信息采集##不遗漏...

  • LOG使用规范(整理)

    在开发B/S系统时,对于LOG,需要关注: 日志信息的集中采集、存储、信息检索:在WEB集群节点越来越多的情况下,...

网友评论

      本文标题:自动化WEB信息采集

      本文链接:https://www.haomeiwen.com/subject/drcmoqtx.html