美文网首页
(1)使用superagent和cheerio构建简单爬虫

(1)使用superagent和cheerio构建简单爬虫

作者: LuciferTM | 来源:发表于2016-07-20 11:47 被阅读25次

构建爬虫需要两步 :

  • 请求网页,此时需要用到superagent
  • 获取网页html中的元素数据,此时需要用到cheerio

我们准备构建一个爬虫来摘取简书网页中的数据。

简书.png

首先查看一下简书主页返回的html文件:

jianshu_html.png

可以看到其中的文章列表格式为:

<h4 class="title">
  <a target="_blank" href="/p/6d7d50a12e58">简书晚报160720——《说到吃,明代皇帝口味有多重?》</a>
</h4>

代码如下:

crawler_code.png

操作结果:

crawler_result.png

相关文章

网友评论

      本文标题:(1)使用superagent和cheerio构建简单爬虫

      本文链接:https://www.haomeiwen.com/subject/wrevjttx.html