美文网首页程序员
robots.txt 防爬虫

robots.txt 防爬虫

作者: 王哲理 | 来源:发表于2017-09-21 09:58 被阅读676次

    robots.txt文件用法举例:

    1. 允许所有的robot访问

    User-agent: * Allow: / 或者 User-agent: * Disallow:

    2. 禁止所有搜索引擎访问网站的任何部分

    User-agent: *

    Disallow: /

    3. 仅禁止Baiduspider访问您的网站

    User-agent: Baiduspider

    Disallow: /

    4. 仅允许Baiduspider访问您的网站

    User-agent: Baiduspider

    Disallow:

    5. 禁止spider访问特定目录

    User-agent: *

    Disallow: /cgi-bin/

    Disallow: /tmp/

    Disallow: /~joe/

    6. 允许访问特定目录中的部分url

    User-agent: *

    Allow: /cgi-bin/see

    Allow: /tmp/hi

    Allow: /~joe/look

    Disallow: /cgi-bin/

    Disallow: /tmp/

    Disallow: /~joe/

    7. 使用”*”限制访问url

    禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

    User-agent: *

    Disallow: /cgi-bin/*.htm

    8. 使用”$”限制访问url

    仅允许访问以”.htm”为后缀的URL。

    User-agent: *

    Allow: .htm$

    Disallow: /

    例9. 禁止访问网站中所有的动态页面

    User-agent: *

    Disallow: /*?*

    10. 禁止Baiduspider抓取网站上所有图片

    仅允许抓取网页,禁止抓取任何图片。

    User-agent: Baiduspider

    Disallow: .jpg$

    Disallow: .jpeg$

    Disallow: .gif$

    Disallow: .png$

    Disallow: .bmp$

    11. 仅允许Baiduspider抓取网页和.gif格式图片

    允许抓取网页和gif格式图片,不允许抓取其他格式图片

    User-agent: Baiduspider

    Allow: .gif$

    Disallow: .jpg$

    Disallow: .jpeg$

    Disallow: .png$

    Disallow: .bmp$

    12. 仅禁止Baiduspider抓取.jpg格式图片

    User-agent: Baiduspider

    Disallow: .jpg$

    相关文章

      网友评论

        本文标题:robots.txt 防爬虫

        本文链接:https://www.haomeiwen.com/subject/ulhzsxtx.html