程序员可以让步，却不可以退缩，可以羞涩，却不可以软弱，总之，程序员必须是勇敢的
本节目标
- 配置scrapy环境，创建第一个scrapy项目
- 了解scrapy项目结构。
- 使用scrapy成功编写一个爬虫。
小插曲
有人说，virtualenv、pip是pythonner的两大神器。pip我们在之前的项目中用过很多次了，今天来告诉大家virtualenv怎么使用。
所谓virtualenv，你可以简单的理解为创建一个虚拟的python环境，这个python环境是和本机的其他python环境互不干扰的，所以随你怎么玩~玩坏了删除了重新创建就好了。
首先，打开pycharm。选择file->Default Setting，如图：
1.png
单击左上角setting标准，选择Create VirtualEnv，如图：
2.png
给你的virtyalEnv起个名字，然后选择基础的python环境，记得勾选下面的Inhert global site-packages选项，这回复制你安装的第三方库到你的虚拟环境中，就不用再安装一次了。
这样，一个虚拟环境便创建好了，你到指定的位置可以看到一个虚拟环境的文件夹，进入可以看到一个完整的python环境，python的第三方库都在Scripts文件夹下可以找到，如果要给虚拟环境安装第三方库，可以从pycharm安装，也可以直接运行 虚拟环境根目录\Scripts\pip.exe install packageName。好了这样我们的虚拟环境变创建好了。
安装scrapy
建议用python2.x的版本安装。
打开pycharm，选择 file->Default Setting，选中刚刚创建的虚拟环境，点击+，在搜索框中输入scrapy。如图：
3.png
点击安装等待安装完毕即可。
创建项目
首先把刚刚创建的虚拟环境的Scripts文件夹加入到环境变量中，然后运行scrapy startproject tutorial，执行完毕后可以看到tutorial项目已经被创建在根目录下，目录结构如下：
4.png
下面来简单介绍一下各个文件的作用：
- scrapy.cfg：项目的配置文件
- items.py：项目的items文件，用来定义数据结构
- pipelines.py：项目的pipelines文件，用来处理数据
- settings.py：项目的设置文件
- spiders/：存储爬虫的目录
接下来我们创建第一个scrapy爬虫
第一个scrapy爬虫
在spiders目录下创建一个新的python文件命名为test.py，然后代码如下：
#coding:utf-8
import scrapy
from scrapy.spiders import BaseSpider
from bs4 import BeautifulSoup
class testSpider(scrapy.Spider):
name = 'test'
start_urls = ['https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.RrSiSG&catid=50100398&st_trust=1&page=1&ist=0']
def parse(self, response):
for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a'):
yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)
def detail(self, response):
data = BeautifulSoup(response.body, 'lxml')
area = data.select('#J_Property > h1')
print area[0].get_text()
首先引入库scrapy，紧接着引入库beautifulsoup，没错，scrapy可以和beautifulsoup结合起来使用
name = 'test'定义了这个爬虫的名称，这个名称必须是唯一的，以便用来区分其他爬虫。
start_urls = ['https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.RrSiSG&catid=50100398&st_trust=1&page=1&ist=0']
定义了开始的url，这个和pyspider类似，可以填入多个url。
def parse(self, response):
for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a'):
yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)
parse这个函数是我们继承的scrapy.Spiderclass里面内置的函数，我们对它进行重写，当我们的spider开始运行的时候会首先请求start_urls里面的链接并调用parse函数，给其返回一个response对象。
response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a')
上面这句是使用xpath定位标签，scrapy支持xpath，还记得上节介绍的infolite么，刚好可以结合起来使用。如图得到了我们要的title的xpath：
5.png
我们选择咸鱼网的列表的title，然后创建一个yield迭代器去遍历每个title里面的url，代码如下：
yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)
scrapy.Request函数第一个参数传入url，第二个参数传入callback。对于我们已经取出来的title的a标签，我们依然可以通过xpath取出里面的属性title.xpath('@href')，如果要取出文字，则使用title.xpath('text()')。
接下来我们进入到detail函数：
def detail(self, response):
data = BeautifulSoup(response.body, 'lxml')
area = data.select('#J_Property > h1')
print area[0].get_text()
一如我们之前讲解的，在这里，我们用beautifulsoup解析response.body，然后通过csspath取出我们想要的信息。
至此，我们第一个scrapy爬虫就写完了，是不是比想象中的简单呢？
写在最后
今天，我们简单介绍了scrapy并实现了一个scrapy爬虫，下一节是scrapy的进阶篇，我们将介绍scrapy中items 与pipelines的用法。小伙伴们可以用scrapy把我们之前写过的爬虫再重新试试，看看效率如何~
有兴趣的同学可以加群498945822一起交流学习哦~~
发现问题的同学欢迎指正，直接说就行，不用留面子，博主脸皮厚！
网友评论