nodejs + cheerio + Promise(blueb

文章概要

使用nodejs + cheerio + Promise(bluebird库实现)的nodejs课程数据进行爬取。统计scott老师的所有课程的情况：每个课程的课程名、课程介绍、链接地址、课程难度等级。

关于cheerio的使用

• 请参考我的另外一篇文章 《cheerio 使用初步》

也可以参考我的另外一篇爬虫实践文章

• nodejs + cheerio 爬取极客学院的nodejs课程数据

准备

• 我们要爬去scott老师的所有课程信息

• 对应的DOM结构如下

• 我希望的到的是如下

    课程名称: Node.js 异步优化
    课程介绍：本课程作为 Node.js 进阶提升系列的第一课，主要讲解 Node.js 的异步代码编程习惯以及异步代码编程会带来的潜在问题。通过本课程的学习，学员将学会如何将 Node.js 的异步代码进行改良优化。
    课程链接：4510人学习
    学习人数：http://www.jikexueyuan.com/course/2052.html
  

代码 crawler.js

var http = require('http');
var cheerio = require('cheerio');
var Promise = require('bluebird');
// baseUrl + videoIds 是一个课程的
var baseUrl = 'http://www.imooc.com/learn/';
var videoIds = [348, 259, 197, 134, 75];


function filterHtml(html){
    var $ = cheerio.load(html);// 使用 cheerio模块装载课程页面，使用类似jquery方式处理

   
    var course_infos = $('.course-infos');//课程信息
    var title = course_infos.find('.hd').find('.l').text().trim();//课程标题
    var number = $($('.static-item.l')[1]).find('span').last().text().trim();//课程难度等级
    var chapters = $('.chapter');//章节（每个章节包含若干小节）

    //期望返回的数据结构，将每个html页面处理成这个字面量对象
    /*var courseData = {
        title: title,//课程名称
        number: number,//课程学习人数
        //课程的每个章节：章节名称，小章节数组。小章节：小章节名称，小章节链接
        videos:[{
            chapterTitle: '',
            videos: [
                title:'',
                id:''
            ]
        }]
    }*/

    var courseData = {
        videos: [],
        number: number,
        title: title
    }
    //遍历每个章节
    chapters.each(function(item) {
        var chapter = $(this);

        var chapterTitle = chapter.find('strong').text().trim();//每个章节的标题
        var videos = chapter.find('.video').children('li');//每个小章节DOM（数组）
        var chapterData = {
            chapterTitle : chapterTitle,
            videos: []
        }

        videos.each(function(item) {
            var video = $(this).find('.J-media-item');//每个小节的a标签
            var videoTitle = video.text().trim();
            var id = video.attr('href').split('video/')[1].trim();

            chapterData.videos.push({
                title: videoTitle,
                id:id
            })
        })

        courseData.videos.push(chapterData)
    })

    return courseData;
}


function printInfo(info) {
    info.forEach(function(item){
        console.log(item.number + ' 人学过 ' + item.title + '\r\n');
    });

    info.forEach(function(courseData) {
        console.log('###' + courseData.title + '\n')

        courseData.videos.forEach(function(item) {
            var chapterTitle = item.chapterTitle;

            console.log(chapterTitle + '\r\n');
            item.videos.forEach(function(video) {
                var subtext = '【' + video.id +'】' + video.title
                console.log(subtext)
            })
        })

    })
}


var fetchCourseArray = [];

videoIds.forEach(function(id) {
    fetchCourseArray.push(getPageAsync(baseUrl + id));
})


function getPageAsync(url) {
    return new Promise(function(resolve, reject){
        console.log('正在爬取....');
        http.get(url, function(res){
            var html = '';

            res.on('data', function(data) {
                html += data;
            })

            res.on('end', function(){
              
                resolve(html);
            })

        }).on('error', function(e) {
            reject(e)
            console.log('出错了')
        })
    })
}

Promise
.all(fetchCourseArray)
.then(function(pages) {
  
    var coursesData = [];//很多课程的数组（之前是一个课程里许多个章节的数组）
    pages.forEach(function(html){
        var courses = filterHtml(html);

        coursesData.push(courses);
    })

    coursesData.sort(function(a, b){
        return a.number < b.number;//从大到小
    })

    printInfo(coursesData)
})

拉出啦溜溜

执行

npm install --save cheerio bluebird
node crawler.js

问题

我最开始想爬取慕课网某个课程的学习人数

DOM结构如下

“上次学到”、“学习人数”等四块内容，分别存储在四个className为static-item的DIV中。但是通过数据抓取，我发现，抓出的数据“上次学到”等标题是乱码，然后具体的内容如“1-1课程简介”等是空

var number = $('.statics ').find('.static-item').html();

也许是我的这次行为被慕课网发现了，触发了自动“反扒”机制，这个机制和怎么规避，目前，我还不了解，后面的文章，我会继续填坑~