1.爬虫
自动获取网页内容的程序 将页面被系统储存起来 然后用户可以搜到查询这个页面
爬虫经过漫游的形式进行抓取
2.搜索引擎入口 www.seojiaoxue.com
3.权重
搜索引擎对一个网站的信用度
PR 是Google衡量一个网站好坏的重要标准之一
查询用 站长工具
4. robots
一个协议 告诉搜索引擎怕爬虫什么可以抓取 什么不可以抓取(相当于公司门口的公告一样)
功能 : 屏蔽无用的信息 节省服务器带来的宽带资源 提升收录
可以直接搜索 www.taobao.com/robots.txt 淘宝封杀百度抓取
下载好robots 放在根目录里面
5.百度开放平台
和百度合作的北京天气
正常的是只显示title 和 摘要百度开放平台 里面的站长工具看看
能出现手机一样的页面 就是和百度开放平台合作了
网友评论