美文网首页Python,web开发,前端技术分享码农的世界大数据 爬虫Python AI Sql
Python学习笔记(18)数据采集、爬虫路线、连续动作三者的执

Python学习笔记(18)数据采集、爬虫路线、连续动作三者的执

作者: 2890bd62c72a | 来源:发表于2019-08-24 19:16 被阅读4次

    一、基本概念

    1.1,数据采集

    数据采集指的是我们在“创建规则”工作台定义的抓取内容。

    1.2,爬虫路线

    爬虫路线指的是在“爬虫路线”工作台定义的线索,包括下级线索、翻页线索和一次性的模拟点击等。

    1.3,连续动作

    连续动作指的是在“连续动作”工作台定义的线索,包括悬浮、点击、滚屏、选择等多种动作类型。

    二、执行顺序

    总体上,爬虫先进行数据采集,再执行爬虫路线或连续动作。如果一个规则里既有连续动作又有爬虫路线,那么爬虫会先执行连续动作再执行爬虫路线。

    2.1,数据采集+爬虫路线(下级线索)

    同一个规则的数据采集和爬虫路线的下级线索没有先后之分,下级线索只是在数据采集过程中把当前页面的链接保存起来,并生成线索给第二级规则。

    2.2,数据采集+爬虫路线(翻页线索/模拟点击)

    DS打数机会先进行数据采集,再执行爬虫路线的翻页线索或模拟点击。

    2.3,数据采集+连续动作

    DS打数机会先进行数据采集,再执行连续动作。

    2.4,数据采集+连续动作+爬虫路线(翻页线索)

    一个规则同时存在连续动作和翻页线索,DS打数机会先进行数据采集,再执行连续动作,最后执行翻页线索。

    Tips:上图所示的流程图适用于连续动作后,页面的翻页区域仍在当前页的情况。如果连续动作后页面发生变化,已经没有翻页区域,那么就要在主题B加一个回退的动作,让页面回去原来的页面,才能继续做翻页。流程图如下所示。

    三、连续动作内各个步骤执行顺序

    连续动作各个步骤的执行顺序跟定义的步骤编号一致,也就是先做步骤1,再做步骤2……点击排序会弹出管理窗口,可以对步骤顺序进行调整。

    相关文章

      网友评论

        本文标题:Python学习笔记(18)数据采集、爬虫路线、连续动作三者的执

        本文链接:https://www.haomeiwen.com/subject/skerjctx.html