美文网首页SEO优化文章
如何规划好网站的URL-国平

如何规划好网站的URL-国平

作者: shameyou | 来源:发表于2017-05-31 19:13 被阅读13次

阅读文档:

最好的规划URL目录层级的方式,就是按照业务方的逻辑来规划,从内容上应该是什么从属关系就怎么规划URL

一.因为爬虫固有的特点造成的抓取障碍:

  • 重复URL的问题 例如:模板部分的URL
    解决:搜索引擎已经解决这个问题

  • 搜索引擎采集的“待抓取列表”重复性问题

爬虫一边按照优先级抓取一部分的URL,一边把还未被抓取的URL记录下来等待下次抓取,只是这些还未被抓取的URL,下次爬虫来访问的频率就每个网站都不一样了, 每一类URL被访问的频率也不一样。
那些目录层级比较深的URL是次要抓取的;那些在模板部分的或重复率非常高的URL是被次要抓取的;那些动态参数多的URL是次要抓取的…..

二.因网站结构造成的爬取障碍

静态化的本质是URL唯一化,静态化只是一个手段而不是目的,为了保证URL的唯一化,可以把URL静态化、也可以用robots.txt或nofollo屏蔽动态内容、可以用rel=canonical属性、还可以在webmaster tool里屏蔽一些参数等等。

URL中要尽量用有意义的字符。这不是因为要在URL增加关键词密度而这么做的,是为了方便搜索引擎抓取。

相关文章

  • 如何规划好网站的URL-国平

    阅读文档: 《优化网站的抓取与收录》中文版 《谷歌搜索引擎入门指南》第7页到11页 《创建方便 Google 处理...

  • iOS:图片URL转UIImage;UIColor转UIImag

    //url->UIImage -(UIImage *) getImageFromURL:(NSString *)f...

  • 快易推:中小企业新公司如何做好网站推广

    快易推:中小企业新公司如何做好网站推广 随着企业网络营销推广的快速发展,在互联网的时代企业如何做好网站推广也逐步成...

  • 中小企业新公司如何做好网站推广

    中小企业新公司如何做好网站推广 随着企业网络营销推广的快速发展,在互联网的时代企业如何做好网站推广也逐步成为了一个...

  • 2018-12-30

    高管的年度规划,如何顺利通过? 原创:刘平 这几天,部分营销高管有些焦虑和烦躁。 因为营销年度规划的提报不顺利。 ...

  • CSRF

    CSRF:恶意网站借用用户在浏览器中存储的好网站的cookie,以用户在好网站的身份,在好网站进行非法操作。 ht...

  • 如何学习SEO-国平

    一.SEO的四大技能(学习路径): 1.弄懂搜索引擎相关技术和原理2.了解网站制作的相关技术,可独立制作一个网站3...

  • 定制网站具体流程,提供网站定制服务

    高端定制一个网站,要做好网站开发的前期准备、中期制作和后期的测试发布工作。前期准备包括了解网站的业务背景、商业规划...

  • 像哲学家一样去思考问题,对自己抽丝剥茧

    如何规划事业? 如何规划家庭? 如何规划健康? 如何规划成长? 以上所有的规划是基于什么底层的设计呢? 身心健康、...

  • 第三方框架

    一.获取步骤 github中搜索->复制url->终端中git clone + url 二.同步方法 1.终端指令...

网友评论

    本文标题:如何规划好网站的URL-国平

    本文链接:https://www.haomeiwen.com/subject/dcyrfxtx.html