美文网首页管理系统
解决百度蜘蛛无法爬取Hexo博客的问题

解决百度蜘蛛无法爬取Hexo博客的问题

作者: happyJared | 来源:发表于2018-06-29 11:27 被阅读205次

写在前面

  先上两张图对比下:

Google-site:blog.mariojd.cn Baidu-site:blog.mariojd.cn

  由于GitHub Pages是拒绝百度爬虫爬取的,包括用Hexo或Jekyll搭建的博客,因此你的站点再怎么SEO优化,这在国内也是收录和搜索不到的。本文介绍的方案同大多数一样,利用DNS将国内的线路请求到Coding Pages,然后国外的线路还是走GitHub Pages。

  上面是在完成以下几步操作几天后截的图,总之谷歌是很快就收录了我的博客站点(听说最多一两天),相反国内的百度是迟迟没有动静,上站长平台各种地址、sitemap提交也是毫无反馈,还是提问后才了解到百度收录站点的速度确实会比较慢,短则一两周长则几个月,还是先做好时间、心理的持久战准备吧!

准备说明

解决过程

    1. 在Coding.net上创建当前用户名仓库
happyjared - Coding.net
    1. 修改hexo根目录下的_config.yml
# 注意这里要修改成你的实际仓库地址,都是走SSH的方式所以要提前配置相关环境
# 如果实际分支不是默认的master,请自行修改并在平台上配置
deploy:
  type: git
  repo:
    github: git@github.com:happyjared/happyjared.github.io.git,master
    coding: git@git.coding.net:happyjared/happyjared.git,master
    1. 注册DNSPod并修改域名解析

  这里需要两条CNAME主机记录。线路类型是国外的,记录值为:<github username>.github.io.;线路类型是国内的,记录值为:pages.coding.me.(注意,对应静态Pages来说这是个固定值)。

DNSPod
    1. 重新部署Hexo并测试访问

  完成上述操作后使用hexo g -d命令重新部署双平台博客,然后通过访问http://<github username>.github.iohttp://<coding username>.coding.me查看操作是否成功。

    1. 添加自定义域名和Https
    • GitHub Pages的配置在该仓库的Settings,参考下图:
    GitHub Page Setting
    • Coding Pages的配置在当前仓库的Pages服务,如下图所示:
    Coding Page Setting

  提示:关于Coding Page的SSL/TLS证书申请 ,主要就是在DNSPod平台上正确的配置解析记录,如果出现验证错误,请参考Coding Pages常见问题。当时我遇到的错误信息是:Fetching http://exmaple.com/.well-known/acme-challenge/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx: xxxxxxxx,解决方案是先将上述CNAME记录值为pages.coding.me.的线路类型修改为默认,待验证通过后再调整为国内。

    1. 关于Coding Pages跳转页

  参考Coding.net官网说明,可以配置文字版或图片版,然后验证并解决。我这里使用的是文字版方案,修改了hexo主题layout\_partial目录下的footer.ejs

Hosted by Coding Pages footer.ejs

验证方案

Test Server

  完成上述操作后,百度蜘蛛爬虫应该就可以成功抓取我们的站点了,下面列出两种测试方案。

模拟百度爬虫请求站点

    curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" https://blog.mariojd.cn

通过百度站长平台抓取验证

抓取诊断 - 百度站长

站长平台收录及验证

  为了加快站点收录,可以通过站长平台(先验证)主动提交站点sitemap,这里可以通过hexo插件生成sitemap,参考如下:

  • npm install hexo-generator-sitemap // 这是传统的sitemap
  • npm install hexo-generator-baidu-sitemap //这是百度专有的sitemap

  安装完插件后,需要在Hexo根目录下配置_config.yml,使用hexo g可以在public目录下看到生成的sitemap.xml文件,最后hexo d部署到远程仓库即可:

sitemap:
  path: sitemap.xml
baidusitemap:
  path: baidusitemap.xml

谷歌收录

  • 谷歌站长平台
  • 添加站点后,在“抓取”->“站点地图”中提交sitemap
sitemap - Google

百度收录

  • 百度站长平台
  • 添加站点后,在“数据引入”->“链接提交”中提交sitemap
sitemap - Baidu
  • 保险起见,可以在每个页面上嵌入百度的自动推送工具代码:
<script>
(function(){
    var bp = document.createElement('script');
    var curProtocol = window.location.protocol.split(':')[0];
    if (curProtocol === 'https') {
        bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
    }
    else {
        bp.src = 'http://push.zhanzhang.baidu.com/push.js';
    }
    var s = document.getElementsByTagName("script")[0];
    s.parentNode.insertBefore(bp, s);
})();
</script>

收录验证

  通过浏览器输入site:站点并搜索

    site:https://blog.mariojd.cn

参考链接

解决 Github Pages 禁止百度爬虫的方法2--从gitcafe迁移到coding.net
迁移 Github pages 到 coding.net
hexo干货系列:(四)将hexo博客同时托管到github和coding
hexo干货系列:(六)hexo提交搜索引擎(百度+谷歌
Hexo 博客 Coding+Github 双线部署求 https 方案

相关文章

  • 解决百度蜘蛛无法爬取Hexo博客的问题

    写在前面   先上两张图对比下:   由于GitHub Pages是拒绝百度爬虫爬取的,包括用Hexo或Jekyl...

  • 博客

    hexo GitHub 搭建博客 词云 数据库 淘宝数据清洗导出表格生成词云 十万数量级 喜马拉雅爬取 搜狗翻译爬...

  • 解决 hexo 搭建的博客无法上传文章问题

    有一天写完博客,准备上传时,执行 hexo d 命令后上传失败,并要求重新输入账号密码进行上传,输入密码后报了下面...

  • 入门级爬虫(2)

    requests库入门实操我的个人博客 京东商品页面爬取 亚马逊商品页面的爬取 百度/360搜索关键字提交 IP地...

  • 给 Hexo 搭建的博客增加 百度 和 谷歌 的搜索引擎验证

    如果你的 博客 是使用 GitHub + Hexo 搭建的,那么你的 博客 内容是无法被 百度、谷歌 等搜索引擎搜...

  • hexo博客图片问题

    hexo博客图片的问题在于,markdown文章使用的图片路径和hexo博客发布时的图片路径不一致。 解决方式是使...

  • Typora图片上传问题

    前言 学习目的 1) 在解决hexo个人博客上传的文档图片无法显示问题的过程中,想利用Typora编写的文档中的图...

  • 个人hexo博客部署到Coding.net

    此文旨在解决hexo个人博客部署到github访问慢的问题 解决办法: 把博客部署到Coding.net 买独立域...

  • Caddy + Hexo 实现自动化部署

    之前博客使用在 VPS 设置 git server 来解决 Hexo 博客发布到 VPS 问题,见文章 使用 V...

  • 爬百度图片

    requests + re 爬百度图片 一、爬取百度图片一页 二、爬取更多图片 通过上面的方法我们可以成功爬取百度...

网友评论

    本文标题:解决百度蜘蛛无法爬取Hexo博客的问题

    本文链接:https://www.haomeiwen.com/subject/jvzoyftx.html