内容简述:
一:打码平台
二:多线程爬虫
三:Scrapy框架
一:打码平台使用
云打码 http://www.yundama.com/ 打码兔等
二:多线程爬虫
三:Scrapy框架
定义:Scrapy是基于Python实现，方便爬取网站数据、提取结构性数据的应用框架。
底层:使用Twisted异步网络框架来处理网络通讯，加快下载速度。
不用手动实现异步框架，包含了多种中间件接口，非常灵活。
Scrapy运行架构流程图:
组件说明:
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 负责接收引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载引擎发送的所有Requests请求，并将其获取到的Responses交还给引擎，由引擎交给Spider来处理。
Spider（爬虫）：负责处理所有Responses,分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入调度器
Item Pipeline(管道)：负责处理Spider中获取到的Item，并进行后期处理（如详细分析、过滤、存储等）.
Downloader Middlewares（下载中间件）：类似一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：类似一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses以及从Spider出去的Requests）
简单使用：(安装)pip3 install scrapy
（1）创建项目scrapy startproject spider1(项目名称)
（2）目录结构
spider1
spider1
spiders 爬虫目录（写代码位置）
__init__.py
hello.py 爬虫文件
__init__.py
items.py 定义数据结构地方
middlewares.py 中间件
pipelines.py 管道文件
settings.py 项目配置文件
scrapy.cfg
通过指令创建爬虫文件
cd spider1/spider1
scrapy genspider qiubai"www.qiushibaike.com"
此时在spider1/spider1/spiders里面自动创建一个qiubai.py
name:爬虫的名字，启动的时候根据爬虫的名字启动项目
allowed_domains：允许的域名。意思是爬取的时候这个请求要不要发送，如果是该允许域名下的url，就会发送，否则过滤掉这个请求。【列表允许多个域名】
start_urls：爬虫起始url，是一个列表，里面可以写多个，一般只写一个
def parse(self, response):写代码的入口，parse函数名是固定。
当收到下载数据时系统会自动调用
参数response，是一个响应对象，可从中获取html字符串，然后解析之。
【温馨提示】这个parse函数必须返回一个可迭代对象
（3）定制items.py，个性化定义数据结构格式。
（4）运行-打印response对象测试下
来到终端下：
cd spider1/ spider1/spiders
scrapy crawl qiubai
根据response获取网页内容
response.text 字符串类型 response.body二进制类型
（5）运行，直接通过命令导出json格式
scrapy crawl qiubai -o qiubai.json
scrapy crawl qiubai -o qiubai.xml
scrapy crawl qiubai -o qiubai.csv
【注】window 安装问题参考
pip install Scrapy
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required.Get it with "Microsoft Visual C++ BuildTools": http://landinghub.visualstudio.com/visual-cpp-build-tools
解决方案::
1- 在http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted
对应版本的whl文件（如我的Twisted-17.5.0-cp36-cp36m-win_amd64.whl）
cp后面是python版本，amd64代表64位，运行命令：
2-pip install C:\Users\CR\Downloads\Twisted-17.5.0-cp36-cp36m-win_amd64.whl
3-pip install Scrapy
四:作业
1-完成课堂代码
2-用框架实现糗事百科糗图抓取并保存为一个json文件
https://www.qiushibaike.com/pic/
3-用框架实现站长素材高清图片抓取并保存为一个json文件
http://sc.chinaz.com/tupian/shanshuifengjing.html
4-用框架实现斗图啦-表情模板-抓取并保存为一个json文件
网友评论