写在开头：本人做移动端开发，不是一个专业的 Spider ，用 Python 搞爬虫纯属个人爱好，如果不妥之处，不喜勿喷，大神请绕过。
github 上面有本文代码地址。
先前写过一个 demo 使用 requests + Selenium 的方式抓取淘宝商品，之前没有涉及过 Scrapy 这个框架。本文使用此框架来做一次同样的抓取，看看 Scrapy 框架是不是像外界吹的那么神。不会使用 Scrapy 的同学也没关系，这里有篇中文文章是专门介绍 Scrapy 的。
Scrapy 抓取页面的方式和 requests 库类似，都是直接模拟 HTTP 的请求，而 Scrapy 也不能抓取JavaScript 动态渲染的页面。但是使用 Selenium 可以完美解决问题。
先看一下整个项目的框架：
TB.png
新建项目
首先新建项目，命名如 scrapyseleniumtest , 命令如下：
scrapy startproject scrapyseleniumtest
新建一个 Spider ， 命令如下：
scrapy genspider taobao www.taobao.com
修改 ROBOTSTXT_OBEY 为 False
ROBOTSTXT_OBEY = False
定义 Item
定义需要抓取的商品信息：
import scrapy
class ProductItem(scrapy.Item):
# 此处定义的 collection 字段是为了 存储数据到 MongoDB 使用
collection = 'products'
image = scrapy.Field()
title = scrapy.Field()
price = scrapy.Field()
deal = scrapy.Field()
shop = scrapy.Field()
location = scrapy.Field()
初步实现 Spider 的 start_requests() 方法，返回所有的 Request 对象 ，如下所示：
import scrapy
from scrapyseleniumtb.items import ProductItem
#此处引入 quote 模块 是为了将中文拼接到 URL 中
from urllib.parse import quote
class TaobaoSpider(scrapy.Spider):
name = 'taobao'
allowed_domains = ['www.taobao.com']
start_urls = ['http://www.taobao.com/']
base_url = 'https://s.taobao.com/search?q='
def start_requests(self):
for key in self.settings.get('KEYWORDS'):
for page in range(1, self.settings.get('MAX_PAGE') + 0):
url = self.base_url + quote(key)
yield scrapy.Request(url=url, callback=self.parse, meta={"page": page}, dont_filter=True)
def parse(self, response):
#解析函数
pass
-
首先定义一个 base_url ，即商品列表的 URL , 其后拼接一个搜索关键字，此处的关键字就是搜索的商品名称
-
关键字放到一个列表中，用 KEYWORDS 表示，定义在 setting 中。同时也定义最大的翻页页码用 MAX_PAGE 表示。如下：
KEYWORDS = ['iPad, 'iPhone Xs Max', '苹果']
MAX_PAGE = 10 -
在 start_requests() 方法里，首先遍历了搜索的关键字，遍历了页码，构造一个 Request。由于每次搜索的 URL 固定，每次只需要传入页码即可。将页码看做参数写在 meta 参数里面。同时设置不去重 dont_filter 。这样在爬虫启动的时候，就生成了每个关键字对应的商品列表的每一页请求了。
对接 Selenium
以上的是我们构造的请求，到目前为止还没有发起请求。发起请求我们借用 Selenium ，采用 DownloaderMiddleware 来实现。在 Middleware 里面可以借用 process_request() 方法来对每个抓取请求进行处理，启动浏览器并进行页面渲染，再将渲染之后的结果构造一个 HtmlResponse 对象返回。代码实现如下：
from scrapy import signals
from scrapy.http import HtmlResponse
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from logging import getLogger
# 导入chrome选项 可以使用浏览器的无头模式
from selenium.webdriver.chrome.options import Options
class SeleniumMidleware():
# 在初始化 SeleniumMidleware 之前，会首先调用下面的类方法，从设置全面变量 settings 文件里面获取有用信息，将信息定义为全局类变量。
@classmethod
def from_crawler(cls, crawler):
return cls(
timeout=crawler.settings.get('SELENIUM_TIMEOUT')
)
# 在初始化的时候 会将全局类变量作为参数调用
def __init__(self, timeout=None, service_args=[]):
self.logger = getLogger(__name__)
chrome_options = Options()
chrome_options.add_argument('--headless')
# self.browser = webdriver.Chrome(chrome_options=chrome_options)
self.browser = webdriver.Firefox(service_args=service_args)
self.timeout = timeout
self.wait = WebDriverWait(self.browser, timeout)
self.browser.set_page_load_timeout(60)
self.browser.set_window_size(1400, 900)
# 对象别销毁之后 关闭浏览器
def __del__(self):
self.browser.close()
def process_request(self, request, spider):
# Called for each request that goes through the downloader
# middleware.
# Must either:
# - return None: continue processing this request
# - or return a Response object
# - or return a Request object
# - or raise IgnoreRequest: process_exception() methods of
# installed downloader middleware will be called
"""
:param request:
:param spider:
:return:
"""
self.logger.debug('Selenium is starting')
page = request.meta.get('page')
try:
self.browser.get(request.url)
if page > 1:
input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input')))
submit = self.wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
input.clear()
input.send_keys(page)
submit.click()
self.wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > ul > li.item.active > span'), str(page)))
self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.m-itemlist .items .item')))
return HtmlResponse(url=request.url, request=request, body=self.browser.page_source, encoding='utf-8', status=200)
except TimeoutError:
return HtmlResponse(url=request.url, request=request, status=500)
针对上述代码，做如下说明：
- 首先我们在 init() 里对一些对象进行初始化， 包括 浏览器对象（此处用的是火狐，也可以替换成其他的）、WebDriverWait 等对象，同时设置 浏览器尺寸、页面加载超时时间。
- 在 process_request() 方法中，我们可以获取之前构造好的 request 对象，获取兑现里面的一些信息：URL 、meta 中的页码信息 page 。拿到 URL 作为浏览器对象self.browser.get() 里面的参数，这样就讲 请求动作 转移到了 浏览器对象上，而不再使用 Scrapy 里面的 Downloader。
- 页面加载完成会后，获取页面信息 page_source 属性，利用该页面信息构造一个 HtmlResponse 对象并返回。此处有个链接可以查看 HtmlResponse 对象的结构。
敲黑板 为这么实现一个 DownloaderMiddleware 就可以了？ 之前创建的 Request 对象 放着不管不问吗？ Response 返回后又传给谁了呢？是的，Request 对象到这里就不再处理了，也不会按照之前的流程走下去了，拿到的 Response 对象直接传给 Spider 进行解析。x
在 settings 里面，我们设置调用刚才定义的 SeleniumMiddleware ：
# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
'scrapyseleniumtb.middlewares.SeleniumMidleware': 543,
}
解析页面
拿到 Response 对象之后，Spider 会交给回调函数进行解析 (此处使用xpath解析了一个字段作为示范)。我们来看一下解析方法：
def parse(self, response):
if response.status == 200:
products = response.xpath('//div[@id="mainsrp-itemlist"]//div[@class="items"]//div[contains(@class, "item")]')
for product in products:
item = ProductItem()
# item['image'] = 'https:' + str(product.xpath('.//div[@class="pic"]//img[contains(@class, "img")]/@data-src').extract_first()).strip()
item['title'] = ''.join(product.xpath('.//div[contains(@class, "title")]//text()').extract()).strip()
yield item
else:
print("status is 500")
在这里我们调用 Xpath 进行解析，调用 Response 对象的 xpath() 方法获取说有的商品数组。遍历数据，赋值给 ProductItem 对象，返回对象即可。
存储结果
上述已经获取到了商品对象，并返回，这里直接返回到了处理 item 的管道 Item Pipeline 里面做进一步的处理。
import pymongo
class ScrapyseleniumtbPipeline(object):
def __init__(self, mongo_url, mongo_db):
self.mongo_url = mongo_url
self.mongo_db = mongo_db
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_url=crawler.settings.get('MONGO_URL'),
mongo_db=crawler.settings.get('MONGO_DB')
)
# spider 启动的时候，执行该方法，主要进行一些初始化的工作
def open_spider(self, spider):
self.client = pymongo.MongoClient()
self.db = self.client[self.mongo_db]
def process_item(self, item, spider):
# 插入 json 数据
self.db[item.collection].insert(dict(item))
# 断开连接
def close_spider(self, spider):
self.client.close()
记得在 settings.py 里面开启权限：
ITEM_PIPELINES = {
'scrapyseleniumtb.pipelines.ScrapyseleniumtbPipeline': 300,
}
运行
执行命令
scrapy crawl taobao
运行结果截图：
result.png
查看MongoDB，结果截图：
Robo 3T.png
注意：运行之前需要启动 MongoDB 服务器，命令如下：
brew services start mongodb
sudo mongod
停止和重启的命令如下：
brew services stop mongodb
brew services restart mongodb
针对MongoDB也有可视化的工具，比如 RoboMongo/Robo 3T，使用都很简单，官网地址：https://robomongo.org/download。
网友评论