美文网首页
node抓取网页

node抓取网页

作者: 带带带前端 | 来源:发表于2019-01-29 13:41 被阅读0次
// 引入模块
var https = require('https');
var fs = require('fs');
var path = require('path');

// 爬虫的 URL 信息
var opt = {
    hostname: 'www.jianshu.com',
    path: '/p/ce4425e48011',
    port: 443
};

// 创建 http get 请求
var times = 0;
setInterval(()=>{
        https.get(opt, function(res) {
        var html = ''; // 保存抓取到的 HTML 源码
      


        // 设置编码
        res.setEncoding('utf-8');

        // 抓取页面内容
        res.on('data', function(chunk) {
            html += chunk;
        });

        res.on('end', function() {
            console.log(`访问完毕,已访问${++times}次`)
        });
    }).on('error', function(err) {
        console.log(err);
    });
},3000)

相关文章

网友评论

      本文标题:node抓取网页

      本文链接:https://www.haomeiwen.com/subject/kglxsqtx.html