nofollow 属性
nofollow是HTML元标签(meta)的content属性和链接标签(a)的rel属性的一个值，告诉机器(爬虫)无需追踪目标页，为了对抗blogspam(博客垃圾留言信息)，Google推荐使用nofollow，告诉搜索引擎爬虫无需抓取目标页，同时告诉搜索引擎无需将的当前页的Pagerank传递到目标页。但是如果你是通过sitemap直接提交该页面，爬虫还是会爬取，这里的nofollow只是当前页对目标页的一种态度，并不代表其他页对目标页的态度。
nofollow的 使用
nofollow有两种用法：
1.用于meta元标签：<meta name="robots" content="nofollow" />，告诉爬虫该页面上所有链接都无需追踪。
2.用于a标签：<a href="login.html" rel="nofollow">登录</a>,告诉爬虫该页面无需追踪。
nofollow的作用
nofollow主要有三个作用：
1.防止不可信的内容，最常见的是博客上的垃圾留言与评论中为了获取外链的垃圾链接，为了防止页面指向一些拉圾页面和站点。
2.付费链接：为了防止付费链接影响Google的搜索结果排名，Google建议使用nofollow属性。
3.引导爬虫抓取有效的页面：避免爬虫抓取一些无意义的页面，影响爬虫抓取的效率。
PR修剪(Pagerank Sculpting)
nofollow的滥用，一些SEO为了做到搜索引擎的最大优化，通过nofollow来控制PR的流动，可以很好的优化一些特定页面。当然这种优化比较适合一些已经积淀了相当数量PR的老站点。为了防止PR修剪和nofollow的滥用，Google已经减弱了nofollow的作用，以前的nofollow不仅仅不会造成PR流动，同时不会造成PR损失，现在的nofollow规定虽然也不会造成PR流向目标页，但是原本流向的目标页的将会损失掉。比方当前页PR为1，而且页面上有10个链接，其中一个是nofollow的链接，根据先前的nofollow的规定，每个非nofollow链接指向的目标页将获得1/9的PR，含nofollow的链接不能获得PR，而根据现在Google对nofollow的新规定，非nofollow链接指向的目标页只能获得1/10，nofollow链接同样不能获得PR，也就是损失了1/10的PR。
**隐藏页(Cloaking)，
又称障眼法、伪装技术**，就是为搜索引擎爬虫和用户浏览器分别提供不同版本的内容，这主要根据HTTP请求头的IP和User-Agent信息来区分。
障眼法是一种典型的黑帽SEO作弊方法 ，也是桥页的一种形式。通过返回给爬虫的内容（如拷贝已经在搜索引擎获得高排名的页面内容）获取较高的排名，吸引搜索引擎的用户点击过来，而当搜索引擎用户点击进来时发现内容不同而且很普通。这类欺骗搜索引擎的内容一旦被举报，搜索引擎将会除名该站点。
隐藏页面技术不仅仅用来的欺骗搜索引擎，有时也用来欺骗一些开放目录的编辑，因为编辑喜欢点击目录页面上的链接来检查站点，这样可以根据HTTP请求头中的Referer来确定用户来自特定的开放目录，服务器将为该用户返回伪造页内容。
现在的很多大站点根据用户的地理位置发送不同内容,被称为"IP Delivery"，也是一种良性的隐藏页。有些网站使用首次免费点击(First Click Free)，用户第一次访问是免费的，但第二次访问会跳转到付费页面。这些都是隐藏页，搜索引擎不会认为这是作弊。
反伪装，搜索引擎也可以通过伪装成客户端浏览器来检测获得内容与爬虫获得内容是否相同。所以Cloaking是非常危险的技术，要保证识别一个搜索引擎爬虫的所有的IP。
网友评论