百度的介绍：cheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。
今天就实验下，爬取图虫网的图片，不得不说。图虫网真的聚集好多优秀的摄影师，照片都感觉好好啊(没打广告),但是大部分的图片只能预览，无法下载。所以：
确定你要爬取的主题照片，现在以微风不燥 秋意正好这套照片为例子(教程十分具体化);
1.新建demo文件夹，创建tuchong.js。
然后用终端进入此文件夹。
2.此时在终端分别安装sync-request、cheerio、fs、request依赖，
命令行分别执行npm install sync-request/cheerio/fs/request
3.打开网站，调试，你会发现所有的图片都放在此dom下
dom:$("article.post-content")
因为我们需要创建文件夹，所以我们拿到这组图的主题名字
dom:$("title")
上代码(代码的注释挺详细)：
const fs = require('fs') //创建文件、文件夹
const cheerio = require('cheerio') //cheerio爬虫
const requests = require('sync-request') //node的网络请求
const request = require('request') //利用request模块保存图片
var html = '';
let count = 0 // 记录扒取的图片数量
let imgDirName = '' // 图片存放的目录
let url = "https://tuchong.com/443122/15624611/"; // 目标网站
// 拿到网站内容转化成html字符串
html = requests('GET', url).getBody().toString();
console.log(html)
// 调用自己的方法
filterSlideList(html)
function filterSlideList(html) {
if (html) {
var $ = cheerio.load(html); // 利用cheerio模块将完整的html装载到变量$中，之后就可以像jQuery一样操作html了
// 拿到图片的父容器
var $imgdom = $("article.post-content");
// 拿到主题,并使用主题名字(名字太长，截取一下)创建文件夹
var imgarrname = $("title").text().substr(0, 5);
console.log("开始爬 " + imgarrname + " 主题的图片")
//创建放图片的文件夹
fs.mkdir('./img/' + imgarrname + '/', (err) => {
if (err) {
console.log(err)
}
})
//取每一张图片，并把图片放到目录下
$imgdom.find('img').each(function(index, el) {
var imgurl = $(this).attr("src"), //拿到图片的在线链接
imgnam = $(this).attr("alt"), //拿到图片的标题
imgid = $(this).attr("id"); //图片名字有可能重复，取到唯一id
// 利用request模块保存图片
request(imgurl).pipe(fs.createWriteStream('./img/' + imgarrname + '/' + imgnam + imgid + '.jpg'))
// '''''''''''''''''''''''''''''''''''''''''''''''''图片目录''''''''''''' 拼接的图片名 '''''
count++;
console.log(imgurl);
console.log(imgnam);
console.log('已爬取图片' + count + '张');
});
}
}
3.执行node tuchong.js
爬取成功
网友评论