2019-04-16-09:22 于公司
假如面试官问你:前后端分离项目如何做seo?
1、使用prerender,如果说不用prerender,你怎么回答呢?
2、先去www.baidu.com/robots.txt找出常见的爬虫,然后在ngnix
服务器上判断访问者的 User Agent
(划重点)是否是爬虫。
如果是:用ngnix
反向代理到我们自己用 nodejs
+puppeteer
实现的爬虫服务器。
知识点:
puppeteer
:谷歌推出,可以理解为无界面版本的chrome
浏览器,通俗说就是可以在服务端使用浏览器(页面不展示而已)。
实际上是通过调用Chrome DevTools开放的接口与Chrome通信,Chrome DevTools的接口很复杂,但puppeteer对其进行了封装,我们调用起来还是很方便的。
网友评论