NodeJS爬虫初试

作者: 平凡数 | 来源:发表于2017-01-12 13:33 被阅读1187次

缘由

接触前端(FontEnd)已一年多,但还是半桶水啊,可能半桶水都算不上,自己都担心自己。噗呲
爬虫这个东西,我记得在很久之前我就听说过他,但一直没去了解过他,甚至概念都不太清晰,只知道他是一只网络的虫子,爬取网站的信息。
那么,由于自己技能树的不成熟,目前只在前端入门阶段,╮(╯▽╰)╭。大概了解了一下爬虫可以用什么语言来写,其实是废话,大神的话什么语言都可以写吧。
在结束考试之后,就开始了nodejs学习之旅,对于node没有任何了解,只知道他是一门服务器端的语言。(听说贼强大)
说了那么多废话,一位强大的神秘人物给了小弟我一个小小的任务,爬虫他博客上的文章,并把数据存储到本地,可以说是一个练手任务吧(但对于渣渣的我来说还是有难度的啊)

目标

<li>爬取x-cold的博客:http://blog.lxstart.net/ 的全站文章(约20-30篇)</li>

<li>结构化爬取的文章,持久化到本地(数据库、文件均可,暂时不考虑存储优化)</li>

<li>实现一个简单的HTTP服务器对抓取的结果进行展示(文章列表+文章详情)</li>

环境要求

  • Nodejs v4.3.0 及以上

实践

小白一只,开始在网络中寻求自己疑惑的答案,开始了代码之旅(呸)

工具

这里采用了几个node模块

  • http模块 = > 发起http请求
  • https模块 = > 发起https请求
  • fs模块 = > 将数据存储到本地
  • cheerio模块 = > Dom操作 (使用方法相当于jQuery)

其它

  • 代码检验使用eslint
  • 编写代码使用ECMAScript5

分析网站

打开http://blog.lxstart.net/这个网站,按下F12看了下,发现在每一篇文章的下面都有下一篇文章的链接,所以这里采用了一个简单的方法去爬取整站的文章,取到link后,用一个简单的判断,逐步发起http请求,懒猴再拿到你想要的东西
代码简单展示如下:

// 下一篇文章的链接
var nextLink = 'http://blog.lxstart.net' + $('nav#article-nav #article-nav-older').attr('href')
// 控制爬取文章的篇数
if (id <= 500) {
  fetchPage(nextLink)
}

说说遇到的问题,本来简单尝试成功后,就要将获得的数据保存到本地,一开始是想分析下网站的结构,逐步获取。但后来想想发现不行,还是直接整个取下来吧。在保存的时候,一开始是保存为.txt文件的,但是之前没发现在cheerio加载的时候忘记加上了一个东西(var $ = cheerio.load(html, { decodeEntities: false })),导致拿到的html代码里面的中文是Unicode编码的。

后来加上去之后发现用txt文件保存贼难看,嗯,那就改为html文件试试,(⊙o⊙)…勉强还能接受吧(暂时想不到其他方法)

接下来是存储数据的问题,(⊙v⊙)嗯,html内容存储没啥问题,主要是图片存储的问题。
之前没发现此站点存储图片里面有https,被坑了一波,一直报错,后来才发现,所以增加了一个https模块
存储图片也是采用http发情请求,然后用fs模块保存到本地。这里有一个点,设置编码格式为'binary',即res.setEncoding('binary')

结果展示

  • http服务器对请求结果的简单展示
  • 网页内容的存储
  • 图片的存储

总结

经过此次实践,对爬虫的概念有了一些初步的了解,也对node有了一些认识,主要还是对网站结构的分析,然后就是对node的运用,小小想法。总的来说,这次任务还是比较简单的,没有什么大困难,其他什么的异步编程啊,各种模块都没用上,算是对node的一个开端吧,希望自己接下来能够坚持啊(滑稽脸)

代码

github地址:https://github.com/k-water/Crawler

相关文章

  • 2019-04-04

    Nodejs爬虫初试探 代码 var http = require('http');var fs = requir...

  • NodeJS爬虫初试

    缘由 接触前端(FontEnd)已一年多,但还是半桶水啊,可能半桶水都算不上,自己都担心自己。噗呲爬虫这个东西,我...

  • nodeJS爬虫(完整版)

    nodeJs爬虫

  • nodejs通过钉钉群机器人推送消息

    nodejs 通过钉钉群机器人推送消息 Intro 最近在用 nodejs 写爬虫,之前的 nodejs 爬虫代码...

  • NodeJs + Phantomjs 简易爬虫

    NodeJs + Phantomjs 简易爬虫 爬虫是什么? 引用百度百科的说法是: 如何在NodeJs上搭建爬虫...

  • 爬虫初试

    前言:今天看到一个开发群问有人会爬虫吗,然后突然想试试看,在慕课网上找到一个爬虫教程,跟着边看做,以下是学习记录。...

  • Nodejs爬虫

    Node.js批量抓取高清妹子图片:https://cnodejs.org/topic/54bdaac4514ea...

  • NodeJS 爬虫

    技术栈cheerio: 将抓取的html直接转化为jquery对象,可以直接对获取信息进行DOM操作。puppet...

  • nodejs爬虫

    nodejs相关模块 获取网页内容(http\request\superagent等) 筛选网页信息(cheeri...

  • nodejs 爬虫

    爬取的是豆瓣网 本次将会用到两个库:superagent 和cheerio 其中 superagent是用来请求目...

网友评论

    本文标题:NodeJS爬虫初试

    本文链接:https://www.haomeiwen.com/subject/jnvdbttx.html