创建项目
创建项目是爬取内容的第一步，之前已经讲过，Scrapy通过scrapy startproject <project_name>命令来在当前目录下创建一个新的项目。
下面我们创建一个爬取博客园（'https://www.cnblogs.com/'）文章信息的项目
scrapy startproject cnblog
其中cnblog是你的项目的名字，可以自己定义。
其目录结构如下
cnblog/
scrapy.cfg
cnblog/
__init__.py
items.py
pipelines.py
middlewares.py
settings.py
spiders/
__init__.py
下面简单的讲解一下各目录/文件的作用：
- scrapy.cfg
项目的配置文件，带有这个文件的那个目录作为scrapy项目的根目录 - items.py
定义你所要抓取的字段 - pipelines.py
管道文件，当spider抓取到内容（item）以后，会被送到这里，这些信息（item）在这里会被清洗，去重，保存到文件或者数据库。 - middlewares.py
中间件，主要是对功能的拓展，你可以添加一些自定义的功能，比如添加随机user-agent, 添加proxy。 - settings.py
设置文件，用来设置爬虫的默认信息，相关功能开启与否，比如是否遵循robots协议，设置默认的headers，设置文件的路径，中间件的执行顺序等等。 - spiders/
在这个文件夹下面，编写你自定义的spider。
编写爬虫
编写spider文件
在项目中的spiders文件夹下面创建一个文件，命名为cnblog_spider.py我们将在这个文件里面编写我们的爬虫。先上代码再解释。
import scrapy
class Cnblog_Spider(scrapy.Spider):
name = "cnblog"
allowed_domains = ["cnblogs.com"]
start_urls = [
'https://www.cnblogs.com/',
]
def parse(self, response):
title = response.xpath('//a[@class="titlelnk"]/text()').extract()
link = response.xpath('//a[@class="titlelnk"]/@href').extract()
print(title)
print(link)
- 导入scrapy模块
- 定义一个spider类，继承自scrapy.Spider父类。
下面是三个重要的内容
- name: 用于区别Spider。 该名字必须是唯一的，不可以为不同的Spider设定相同的名字。这一点很重要。
- start_urls: 包含了Spider在启动时进行爬取的url列表。第一个被获取到的页面将是其中之一。即这是爬虫链接的起点，爬虫项目启动，便开始从这个链接爬取，后续的URL则从初始的URL获取到的数据中提取。
- parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
修改settings.py文件
将settings.py文件里面的下列内容修改如下，其余的内容不动。
ROBOTSTXT_OBEY = False #不遵循robots协议
#去掉下面的这个注释，以设置请求头信息，伪造浏览器headers，并手动添加一个user-agent
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
#user-agent新添加
'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
运行我们的爬虫项目
至此，项目必要的信息已经全部完成了，下面就是运行我们的爬虫项目
进入带有scrapy.cfg文件的那个目录，前面已经说过，这是项目的根目录，执行下面的命令
scrapy crawl cnblog
cnblog是spiders/cnblog_spider.py文件里面我们定义的那个具有唯一性的name
你会发现打印出了博客园首页的文章列表和文章的url信息，如下所示。
网友评论