casperjs 循环抓取页面
作者:
书SHU | 来源:发表于
2017-11-10 16:56 被阅读71次var urls = [...];
var index = 0;
var visited_cnt = 0;
// 主要是使用 casper.each 方法
casper.each(urls, function(){
var url = urls[index++];
casper.thenOpen(url, function(){
console.log('Open ' + url);
visited_cnt += 1;
if(visited_cnt >= urls.length) {
casper.evaluate(function(){
// 通知结束
$('body')[0].dataset['crawlerover'] = 'yes';
});
}
});
});
// 等待直到循环结束
casper.waitForSelector('[data-crawlerover]', function(){
logging.info('over');
});
casper.run();
本文标题:casperjs 循环抓取页面
本文链接:https://www.haomeiwen.com/subject/sgobmxtx.html
网友评论