一、什么是HTTP状态码？
HTTP状态码（HTTP Status Code）是用以表示网页服务器HTTP响应状态的3位数字代码。它由RFC 2616 规范定义的，并得到RFC 2518、RFC 2817、RFC 2774、RFC 4918等规范扩展。
二、暗号（http状态码）对照表
200表示正常返回
301表示重定向
304表示页面未修改
404表示无法访问
500表示服务器错误
503表示服务器不可用
截获暗号：
1、蜘蛛爬行有没有遇到404
2、可以看到蜘蛛有没有来爬行你的网站
3、为什么爬行了2个页面，结果不同
4、为什么蜘蛛总是爬行某个栏目
5、蜘蛛爬行网站的轨迹
6、发的外链有没有用
7、为什么总是喜欢抓取这些内容，而不去抓取其它内容呢
三、我们应该如何截获这些“暗号”呢？
日志分析
软件分析
手工分析
四、如何判断真假蜘蛛？
方法一：tracert
方法二：nslookup
网友评论