python爬虫学习笔记

1.scrapy库的安装

anaconda的IDE：cmd命令行下conda install scrapy

pip安装：pip install scrapy即可安装

            注意：1.pip安装包需要安装vs2008，否则安装microsoft visual c++ compiler for python（直接官网下载）

                        2.运行spider时如果出现缺少win32api的问题还需要安装pywin32

2.编写spider之后可通过scrapy runspider ***.py来运行

3.可通过scrapy startproject ***创建一个scrapy工程