美文网首页Node
node爬虫之天猫数据(一)

node爬虫之天猫数据(一)

作者: kangkangz4 | 来源:发表于2016-11-16 12:59 被阅读143次

说起爬虫,最开始想到的就是python scrapy库,但现在我们用node来写一个爬虫来爬天猫数据
首先创建一个目录node_scrapy

mkdir node_scrapy && cd node_scrapy

接下来运行

npm init

这里面创建了一下package.json
在这个包里,我们加入创建爬虫的依赖库,因为我个人比较喜欢用ES6的方式来写node,所以这里我们先加入babel转换库

npm install babel-polyfill babel-preset-es2015 babel-preset-stage-3 babel-register --save-dev

接下来我们加入一个.babelrc文件,这个文件是告诉node选择用什么方式来转换js文件

{
  "presets": ["es2015", "stage-3"]
}

然后我们创建一个index.js,我们用严格模式来写,所以需要加入use strict

'use strict';

require('babel-register');
require('babel-polyfill');

require('./main');

在当前目录下再创建一个main.js

'use strict'

console.log('Hello world')

修改一下package.json

"scripts": {
    "start": "node index"
  },

好了,开始的框架,我们完成了,跑一下

npm start

看一下控制台是否有Hello world输出

相关文章

  • node爬虫之天猫数据(一)

    说起爬虫,最开始想到的就是python scrapy库,但现在我们用node来写一个爬虫来爬天猫数据首先创建一个目...

  • node爬虫之天猫数据(二)

    前面第一节,我们把node的框架搭好了,这一节,我们去天猫上爬数据首先,这里我们需要用到node的几个库 我来介绍...

  • node爬虫之天猫数据(三)

    接上面两章,这一节,我们来把爬出来的数据存到mongodb数据库里首先,我们要先安装mongoose这个库 创建一...

  • node 写爬虫

    1. 爬虫 ---- 小公司数据采集之必备 node 写爬虫的优势 你只需要一个前端工程师 (最重要的一点) ...

  • node入门场景之——爬虫

    边做边学效率更高,爬虫是node的适用场景之一,关于爬虫的另一篇文章node爬虫进阶之——登录为了验证“经验总结、...

  • 爬取淘宝、京东评论数据并制作评论词云

    一、天猫词云 1.天猫评论数据爬取 爬虫代码: 2 词频统计 3 词云 二、淘宝词云 1.淘宝评论数据爬取 2 词...

  • 简单的 nodejs 爬虫

    简单的 nodejs 爬虫 最近想用 node 写爬虫,然后将爬取的数据存入 mongodb。一开始想用 phan...

  • 爬虫分析之数据存储——基于MySQL,Scrapy

    上一篇->爬虫练习之数据整理——基于Pandas上上篇->爬虫练习之数据清洗——基于Pandas 配置MySql ...

  • node爬虫进阶之——登录

    在之前的文章node入门场景之——爬虫已经介绍过最简单的node爬虫实现,本文在原先的基础上更进一步,探讨一下如何...

  • 初学node之node爬虫

    前言 利用爬虫可以做很多事情,查找资料,分享数据,挖掘用户、粉丝。自从前端有了node之后,再也不要去羡慕其他的后...

网友评论

    本文标题:node爬虫之天猫数据(一)

    本文链接:https://www.haomeiwen.com/subject/hjhrpttx.html