说起爬虫,最开始想到的就是python scrapy库,但现在我们用node来写一个爬虫来爬天猫数据
首先创建一个目录node_scrapy
mkdir node_scrapy && cd node_scrapy
接下来运行
npm init
这里面创建了一下package.json
在这个包里,我们加入创建爬虫的依赖库,因为我个人比较喜欢用ES6的方式来写node,所以这里我们先加入babel转换库
npm install babel-polyfill babel-preset-es2015 babel-preset-stage-3 babel-register --save-dev
接下来我们加入一个.babelrc文件,这个文件是告诉node选择用什么方式来转换js文件
{
"presets": ["es2015", "stage-3"]
}
然后我们创建一个index.js,我们用严格模式来写,所以需要加入use strict
'use strict';
require('babel-register');
require('babel-polyfill');
require('./main');
在当前目录下再创建一个main.js
'use strict'
console.log('Hello world')
修改一下package.json
"scripts": {
"start": "node index"
},
好了,开始的框架,我们完成了,跑一下
npm start
看一下控制台是否有Hello world输出
网友评论