一、什么是HTTP状态码?
HTTP状态码(HTTP Status Code)是用以表示网页服务器HTTP响应状态的3位数字代码。它由RFC 2616 规范定义的,并得到RFC 2518、RFC 2817、RFC 2774、RFC 4918等规范扩展。
二、暗号(http状态码)对照表
200表示正常返回
301表示重定向
304表示页面未修改
404表示无法访问
500表示服务器错误
503表示服务器不可用
截获暗号:
1、蜘蛛爬行有没有遇到404
2、可以看到蜘蛛有没有来爬行你的网站
3、为什么爬行了2个页面,结果不同
4、为什么蜘蛛总是爬行某个栏目
5、蜘蛛爬行网站的轨迹
6、发的外链有没有用
7、为什么总是喜欢抓取这些内容,而不去抓取其它内容呢
三、我们应该如何截获这些“暗号”呢?
日志分析
软件分析
手工分析
四、如何判断真假蜘蛛?
方法一:tracert
方法二:nslookup
网友评论