一、对淘宝的具体robots文件分析
User-agent: Baiduspider 以下五条都是针对百度搜索引擎来说
Allow: /article 允许爬取article的整个目录，即淘宝中的文章例如淘宝头条和一些攻 略等
Allow: /oshtml 允许爬取oshtml的整个目录，也是位于网站地图下的全球购，爱逛街 等列表页面
Allow: /wenzhang 允许爬取wenzhang的整个目录，内容可能与article类似
Disallow: /product/ 不允许爬取product的整个目录，即淘宝的商品等。
Disallow: / 以上没有提及的其他目录都是不允许爬取的
User-Agent: Googlebot 以下八条都是针对谷歌搜索引擎来说
Allow: /article 同百度
Allow: /oshtml 同百度
Allow: /product 同百度
Allow: /spu 允许爬取spu的整个目录，SPU是商品信息聚合的最小单位，是一组可 复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。 通俗点讲，属性值、特性相同的商品就可以称为一个SPU。 这个目录 下可能存放的是一些商品等
Allow: /dianpu 允许爬取dianpu的整个目录，即淘宝的店铺、商家等信息的目录
Allow: /wenzhang 同百度
Allow: /oversea 允许爬取oversea的整个目录，即一些针对海外用户的一些部分
Disallow: / 以上没有提及的其他目录都是不允许爬取的
User-agent: Bingbot 以下八条都是针对必应搜索引擎来说（与完全谷歌相同，就不单独拿 出来分析了）
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
User-Agent: 360Spider 以下4条都是针对360搜索引擎来说
Allow: /article 同百度
Allow: /oshtml 同百度
Allow: /wenzhang 同百度
Disallow: / 同百度
User-Agent: Yisouspider 以下4条都是针对易搜搜索引擎来说
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /
User-Agent: Sogouspider 以下5条都是针对搜狗搜索引擎来说
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /wenzhang
Disallow: /
User-Agent: Yahoo! Slurp 以下6条都是针对雅虎搜索引擎来说
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
User-Agent: *
Disallow: / 其他没有提到的搜索引擎都是禁止爬取的
二、robots内部含义的分析
对国外的搜索引擎开放的可以爬取的目录都比国内的要多，可能因为要开发国外市场，但是可能考虑到搜索引擎的流量情况，对谷歌、必应开放爬取的目录要不雅虎高。
网友评论