一、常见的搜索引擎协议
1、网站地图
把网站地图想象成一个文件列表，给搜索引擎提示他们如何抓取你的网站。 网站地图帮助搜索引擎查找和分类您网站上的内容，而这些内容可能并不是他们自己找到的。 网站地图也有各种格式，可以突出显示许多不同类型的内容，包括视频，图像，新闻和移动。
网站地图有三种格式：XML、RSS和TXT
2、Roberts.txt
robots.txt文件是机器人排除协议的产品，是存储在网站根目录（例如www.google.com/robots.txt）中的文件。 robots.txt文件为访问您的网站的自动网络抓取工具（包括搜索抓取工具）提供了说明。
通过使用robots.txt，网站管理员可以向搜索引擎指示他们想要禁止漫游器爬行的哪个区域，以及指示站点地图文件的位置和抓取延迟参数
3、Meta Robots
Meta Robots为搜索引擎机器人创建页面级指令。Meta Robots 应该包含在HTML文档的头部分。
4、 Rel=“Nofollow"
“nofollow”告诉搜索引擎不要跟随链接，虽然一些引擎仍然跟着他们发现新的页面。 这些链接的价值相比，它们的价值更低，但在链接到不受信任的来源的各种情况下都很有用。
5、Rel="canonical"
通常，您的网站上出现两个或更多完全相同内容的副本，网址不同。 例如，以下网址都可以引用一个主页：
http://www.example.com/
http://www.example.com/default.asp
http://example.com/
http://example.com/default.asp
http://Example.com/Default.asp
对于搜索引擎，这些显示为五个单独的页面。 由于内容在每个页面上都是相同的，这可能会导致搜索引擎贬低内容及其潜在的排名。
规范标签通过告诉搜索机器人哪个页面是网络搜索结果中应该包含的单一权威版本来解决这个问题。
二、搜索引擎工具
包括Google search console、Bing webmaster tool、百度站长工具等
网友评论