自动化WEB信息采集

CDN判断

CDN主要有主动识别和被动识别两种方式，主动识别是利用多地ping或者dig或者网站解析历史这类工具解析是否属于CDN网络；被动识别则是通过网站发送邮件或者API来请求你的方式，判断是否是CDN以及获取CDN网络后真实的IP

自动化判断还是通过ping和dig来匹配关键字，一般带有vhost，cloud这类有可能就是cdn

cdn.png

WAF/CDN识别

一般网站的HTTP headers响应头中会有标识是什么CDN或者什么WAF，所以建立好规则字典，判断是否headers在字典中即可

cdnwaf.png

比较键是否存在再比较值是否匹配

diccompare.png

HTTP headers安全性

获取响应头判断是否设置即可
参考>https://github.com/meliot/shcheck

hsec

wafw00f识别waf

wafw00f是python的一个模块，里面定义了很多WAF的匹配规则，直接拿来用就行

wafw00f.png

builtwith识别前端组件

builtwith也是python的一个模块，主要用它来识别前端框架，但是需要用取消SSL证书校验来支持HTTPS类型的网站

builtwith.png

whatweb识别后端组件

whatweb是ruby编写的经典web信息识别程序，也可以直接调用

whatweb.png

whois检索网站注册信息

网站注册信息采集，linux和mac自带的

最后再弄个html模板包装一下信息收集的返回结果

check.png result1.png result2.png