本月月初，1月5日上午，研发组组长给我们SEO部门反映了一个情况说，今天蜘蛛的抓取量有所减少，大概每分钟比昨天降低了一千多次。
我们做出的对策是先观察观察情况再说，因为暂时还不知道是哪些原因导致了现在的情况。
当天的下班的时候，流量并没有太大的异常，我们也没有太在意这个事情，因为百度官方曾经出过一个说明图，如果流量没有发生太大的变化，就暂时是怀疑百度自身的服务器有了问题，也就是我们常说的百度抽风。
我们也暂且认定了这个结论。
到了第二天1月6日，流量开始有所减少，但是也不是很明显，我们认为可能是正常现象，一周中有所波动也是正常的，这一天也没有对蜘蛛做实时监控。
到了第三天的1月7日，问题来了，产品库的流量每小时平均少了两万左右的流量，这时候开始排查前一天6号的蜘蛛抓取量的时候，发现当天百度蜘蛛的抓取量只有536次，这与平时的数百万次的抓取量简直就是降到了零。
这个时候，我们开始排查各种问题，但是没有发现具体问题，这个时候开始怀疑自己的SEO操作，是不是最近几个月的操作触犯了百度的某个算法？由于两个月前做了一次新页面的设计，大概设计了有一亿多的页面，不过这个时候百度也才抓取索引了几百万而已，难道说从这几百万的页面中，他发现了什么？
各种怀疑，深夜两点我和产品经理都没有睡着，不约而同的看着百度统计的各种数据。
到了第四天，1月7日，一大早上班坐电梯时我和产品经理互相看了一眼，都明白今天的主要工作内容是干啥了。
到了中午十点多的时候，site:chanpin.cz.xxx.com发现百度提示全站封禁
然后开始找运维，研发找漏洞，找了半小时没有找到，然后决定把robot删除，
删除之后，重新提交百度说更新了robots文件，然后觉得不保险有重新上传了一个新的robot文件，告诉搜索引擎说我们允许所有的蜘蛛来抓取。
五分钟后，百度蜘蛛抓取次数从17次，涨到一千多
中午下班的时候达到了每小时抓取量是三四万，之前正常的时候是十四五万的抓取量每小时。
在这期间，360和搜狗蜘蛛都是正常抓取。
我们开始联系百度的工作人员，但是这天已经是周六了，只好等周一回复。
之间给seowhy的创始人夫唯打了两次电话，也给一位百万流量站的站长联系沟通了这个事情，他们都没有碰到过我们这种情况。
百度搜索这种整站封禁的情况，一般都是因为网站上线的时候对百度做了整站封禁，后来解除封禁之后，恢复的慢而已，像我们这种在中途出现整站封禁的情况还从来没有人发现过。
到了周一，通过公司的关系还有通过百度站长平台跟百度的沟通，终于得到到了回复，说百度这边会把他们网站的子库的数据和他们主库的数据做一下同步，很快就会恢复了，具体原因并没有说明。
这两天的时间，我们这个三级域名产品库的索引了掉了6k多万。
不过，在得到了百度确定的回复之后，我们的网站数据也开始一点一点恢复。
下面是1月10日开始统计的网站的爱站数据，不过现在流量虽然大部分都恢复了，还是稍微的有一点回落。
到了这个的第二天，也就是1月12号，5118的站长给了我一张图还有一个连接，这个连接里面有几十个同时在7号波动的网站，甚至同程旅游网那时候还没有发现他的网站的robots文件有问题。
再加上这次和百度人员沟通的顺畅的过程，我才开始怀疑，并不是我们这边的问题。
总结：SEO人员必须要有一颗强大的心！
网友评论