美文网首页
Node完成简单爬虫

Node完成简单爬虫

作者: 页面仔小杨 | 来源:发表于2019-01-24 15:32 被阅读0次

编写好node代码,终端运行node app.js后

页面显示json数据

[    

    {   "title":"【活动+视频】北京1月12日Node Party活动",        "href":"/topic/5c1760337ec239239ff579a2"  }, 

    {   "title":"送几本《Node.js开发实战》",        "href":"/topic/5c2edce13898674067a7b103"   }

]

首先介绍两个库

superagent 是个 http 方面的库,可以发起 get 或 post 请求

cheerio 一个 Node.js 版的 jquery,用来从网页中以 css selector 取数据,使用方式跟 jquery 一样的

开始写我们的爬虫

1.新建一个文件夹lesson,进去之后 npm init

$ mkdir lesson

$ cd lesson 

$ npm init

2.安装node依赖包

$ npm i --save express superagent cheerio

3.编写爬虫代码

4.终端运行

node app.js

进阶:输出包括主题的作者

需要重新查看页面的元素哦,附上代码仅供参考

相关文章

  • Node完成简单爬虫

    编写好node代码,终端运行node app.js后 页面显示json数据 [ { "title":"【活动+视...

  • node简单的爬虫

    需要安装3个包 : koa, request 让请求变得更简单 , cheerio爬取来的数据,让它变成DOM树,...

  • 简单的Node爬虫

    写在开头 经过一个漫长的寒假,终于也是赶上复工的潮流。祝贺全国人民抗"疫"取得阶段性的胜利。在平常的Node使用过...

  • 使用node创建最简单的爬虫

    node创建一个简单的网页爬虫安装node就可以了,创建index.js用到request、fs、cheerio、...

  • 简单的 nodejs 爬虫

    简单的 nodejs 爬虫 最近想用 node 写爬虫,然后将爬取的数据存入 mongodb。一开始想用 phan...

  • 使用 superagent 与 cheerio 完成简单爬虫

    使用 superagent 与 cheerio 完成简单爬虫

  • node爬虫进阶之——登录

    在之前的文章node入门场景之——爬虫已经介绍过最简单的node爬虫实现,本文在原先的基础上更进一步,探讨一下如何...

  • node爬虫之路(一)

    最近对爬虫很感兴趣,我们node.js也是可以写爬虫。所以写一个node爬虫系列,记录我的爬虫之路,感兴趣的同学可...

  • node爬虫快速入门

    node爬虫 初入前端,刚刚接触node,对于耳闻已久的node爬虫非常神往,所以有了这篇文章,项目代码在文章末尾...

  • node.js爬虫基础教程

    前言:最近想学习node.js,突然在网上看到基于node的爬虫制作教程,所以简单学习了一下,把这篇文章分享给同样...

网友评论

      本文标题:Node完成简单爬虫

      本文链接:https://www.haomeiwen.com/subject/jdayjqtx.html