安装Scrapy，pip install Scrapy。因为之前安装的各种坑都遇到了，这里安装不会再出错了
创建爬虫项目
在DOS界面中用CD命令切换到存储位置
存储位置
然后运行命令：scrapy startproject csdnSpider ,回车
建立项目
可以创建项目csdnSpider，csdnSpider文件夹下有如下文件
csdnSpider文件夹
简单介绍一下文件功能
scrapy.cfg 项目部署文件
csdnSpider/:
csdnSpider/:items.py 这里主要是做爬虫提取字段
csdnSpider/:pipelines.py 对爬虫字段的进一步处理，如去重，清洗，入库
csdnSpider/:settings.py 项目的配置文件
csdnSpider/:spiders.py 这里主要做爬虫操作
创建爬取模块
爬虫模块的代码都放置于spiders文件夹中，用于从单个或多个网站爬取数据的类，其应该包含初始页面的URL，以及跟进网页的链接，分析页内容是提取数据的函数，创建一个Spider类，需要继承scrapy.Spider类，并且定义三个属性：
name:用于区别Spider,必须是唯一的
start_urls:启动时爬取入口的URL列表，后续的URL响应后返回的Response对象
parse():会作为唯一的参数传递给该方法，该方法负责解析返回的数据(reponse data),提取数据（生成item）以及生成需要进一步处理的URL的Response对象
用Pycharm打开我们刚创建的csdnsoider项目,编写爬虫模块代码：
import scrapy
class csdnspider(scrapy.Spider): # 必须继承scrapy.Spider
name = "csdn" #爬虫名称,这个名称必须是唯一的
allowed_domains=["csdn.net"] #允许的域名
start_urls = [
"https://www.csdn.net/nav/ai"
]
def parse(self, response):
# 实现网页的解析
pass
然后调用，在命令行中进入目录csdnSpider中，注意这里应该是于scrapy.cfg同级，运行命令：scrapy crawl csdn 其中csdn是我们刚才在爬虫模块定义的name,爬虫文件建立在spiders文件夹下
效果图：
1
2
这样就创建成功了
解析Html字段（提取爬虫字段）
之前的xpath与css已经讲过，这里说一下Selector用法，Selector对象有四个基本方法：
1、xpath(queery) 返回表达式所对应的所有人节点的selector list列表。
2、css(query)返回表达式所对应的所有人节点的selector list列表。
3、extract()序列化节点为UNicode字符串并返回列表。
4、re(regex)根据传入的正则表达式对数据进行提取，返回一个Unicode字符串列表。
在csdnspider类的parse()方法中，其中一个参数是reponse,将reponse传入的Selector(reponse)中就可以构造出一个Selector对象。
小技巧：我们在爬虫的时候，更多的是对爬取字段的表达式构造。Scrapy提供了一种简便的方式来查看表达式是否正确有效。
新打开一个命令窗口：输入E:\work\my_python\csdnSpider>scrapy shell"https://www.csdn.net/nav/ai"
效果图：
提取爬取字段
接着直接输入：response.xpath('//*[@id="feedlist_id"]/li[1]/div/div[1]/h2/a/text()').extract()
效果图：
字段
爬取字段代码
import scrapy
class csdnspiderpage(scrapy.Spider):
name = "csdn"
allowed = ["csdn.net"]
start_urls = [
'https://www.csdn.net/nav/ai'
]
def parse(self, response):
datas = response.xpath('//*[@id="feedlist_id"]/li/div')
for data in datas:
read_count = data.xpath('./div[1]/h2/a/text()').extract()
read_count = read_count[0] if len(read_count) > 0 else ''
print(read_count.strip())
pass
在终端输入
scrapy crawl csdn
报错”No module named 'win32api'“
解决办法，Dos
pip install pypiwin32
pycharm 安装pypiwin32库
运行效果
爬取字段
总结
scrapy 框架非常强大，初步接触感觉到了他的便利和效率。今天学习的过程也是在磕磕碰碰，从寒大的写错命令开始，到我不知道在哪里建立spider。如何执行spider遇到了种种问题。
在打开终端的时候打开的位置上默认开启的项目，cd起来其实挺麻烦的，这里我们就修改一下，每次手动打开项目。这里可以修改一下设置：
File -> setting -> Appearance&Behavior -> System Setting -> Startup/Shutdown
取消 Reopen last project on startup 这个选项就好了
修改开启设置
这样终端打开为当前项目位置
终端
网友评论