目前在学习python爬虫方面的东西。直到遇到了scrapy这个框架，然后死活理解不了，为了避免陷入思维定式，所有就大胆的来想想。
今天就只介绍scrapy的框架图谱和它的运行过程。其他的东西在后期学习中在进行补充。
正常版介绍scrapy的框架图谱。
image.png
scrapy的流程介绍：
image.png
这些类内容均来自与网上，各位随意在网上搜索得到。
接下来就是一些自己的类比想法：
scrapy engine = 办公室
scheduler = 行政部
downloader = 市场部
spider = 科研部
item pipeline = 仓储部
中间键 == 内勤部 （本次开脑洞的时候，没有算在来，下次补充）
办公室是一个神奇的地方，它统管其他部门，所有大事情都需要经过办公室的同意。
1、有一天科研部（spider）发现了一条很有用的url线索，报告给办公室，说：“这是一条萌萌的url，很是有用，我们应该好好利用一下。”
2、办公室看了看说：“科研部干的不错，来呀，把这条有用的url交给行政部，去搞一搞嘛。”
3、行政部，看着眼前这条瑟瑟发抖的url。用中指推一下反光的眼镜，嘴角泛起暗笑，大手一挥，高喊：“来呀，行政部的兄弟们，我来给这个小弟嘚包装一下，保证将它的长处发挥到最长。”
4、行政部一脸得意，看着自己的杰作，将萌萌的url包装成帅帅的newurl。送到办公室。
5、办公室搓搓了满是胡茬的下巴，内心宛若癫狂，表面却镇定无比的吩咐：“快，将这个newurl给市场部送去。让他们给我弄来response那群小妖精。”
6、市场部不负众望从市场（INTERNET)中弄来了一群response。交给办公室。
7、办公室大喊：“快将，这个小妖精给科研部送去，让他们将找出其中的极品送到仓储部，等待享用。”
8、科研部在提取了这群response中的极品送到了仓储部。然后又发现了新的，很有用的，萌萌的url，送到办公室，又开始了新的轮回。
网友评论