经过之前的seo基础入门讲解，同学们已经清楚搜索引擎搜索原理和网站收录原理。本文六六seo基础入门第十讲给同学们介绍一个叫做robots文件协议。这个协议主要是站长通知来爬取网站的搜索引擎哪些页面可以抓取，哪些页面不可以抓取。过滤掉描述性页面，将网站统一集权到主要产品页对seoer来说，优化效率可以得到极大的提升。下面跟着六六一起认识一下robots.txt协议文件吧。
六六seo基础入门第十讲：网站使用robots协议文件的注意事项
1，robots.txt协议文件有什么作用？
当搜索引擎访问我们的网站时，首先爬取的是我们存放在网站根目录下的robots.txt文件，这个文件会告诉蜘蛛允许抓取和禁止抓取的相关页面。从seo角度上看，可以将一些描述页面屏蔽掉，集中权重分配到主要栏目页。这也是seoer非常看重robots协议的地方。
2，站长设置robots.txt协议的好处？
大家对于黑客这个职业想必非常熟悉，黑客在侵入网站时其中一个技术手法就是模仿搜索引擎爬取，将一些非常重要的文件设置到robots.txt的禁止抓取权限，可以很好的保护网站安全。
其二好处就是禁止蜘蛛抓取无效页面，节省蜘蛛爬取时间，集中权重到主要栏目页。
3，robots.txt协议如何书写（大家先做了解即可）
我们在书写robots.txt协议时要掌握几个概念。
User-agent表示定义哪个搜索引擎，如User-agent：Baiduspider，定义百度蜘蛛。
Disallow表示禁止访问。
Allow表示运行访问。
通过以上三个命令，可以组合多种写法，允许哪个搜索引擎访问或禁止哪个页面。
4，robots.txt文件放在哪里？
robots.txt文件必须放在我们网站的根目录下，命名时文件名都是小写字母。输入命令（可以对比3书写命令）第一个字母必须大写。其余小写。且命令之后要有一个英文字符空格。
5，网站中哪些页面需要设置robots.txt协议？
网站后台页面，网站后台页面是给站长们设置网站功能，查看数据用的。一定要放置robots.txt文件里面禁止抓取。
动态页面，很多网站建站时动态页面在转换成伪静态后没有屏蔽掉动态页面，导致两个网址可以同时访问到同一页面，造成页面权重分散，这个对于网站seo优化也是非常不利的。
以上就是六六seo基础入门第十讲-网站使用robots协议文件的注意事项，同学们可以在百度搜索引擎上搜索“淘宝”（去看自然排名页面，带有广告字样页面不算哦）关键词，就可以看到robots.txt文件屏蔽蜘蛛后的展现方式。
网友评论