命令行增量和自动化专题
Hawk虽然是图形化软件，但依然支持命令行和自动化抓取，本专题讨论如何增量，和自动化定时抓取，以及当遇到错误时（如网络不通，导致一部分请求失败）需要重试的场景。
1.命令行执行
(本特性的测试还不完全，预计2018年11月发布）
由于大多数服务器都基于Linux实现，因此跨平台成为Hawk必备的功能。但Hawk依赖的WPF(一种windows的图形界面技术)只能在windows上运行。 因此为了变通，可在Hawk上图形化设计工作流，并在其他平台上解释xml执行。
- 一种是实现Python的执行器(etlpy)，但由于Python和C#的众多区别，会导致很多不兼容性，该方案已放弃。
- 另一种方案，是通过.NetCore实现跨平台，我们采用了本方案。
定时抓取需依赖于Hawk的命令行实现HawkScheduler， 它位于Hawk可执行文件的同目录中。使用如下命令指定要执行的工程文件路径和任务名:
HawkScheduler -p project.xml -t task_name
使用HawkScheduler -h来获得相关帮助。
注意，由于命令行本身的性质，以下特性将不可用：
- 写入数据表: 将生成可执行文件同目录下，以数据表为名称的txt文件
- TODO：增加其他不可支持的特性
2.增量抓取
增量抓取比较困难，各网站皆有不同，此处我们提供一些技巧。
一种类型是新闻型的，按照时间排列，并更新最新的新闻，最朴素的思路是记录上一次抓取的最后位置。然后在新的一轮抓取中，不停地向前获取，直到发现上一次抓取后中断。
此处需要两个核心技术点：
2.1.保存上一次存储的关键字
首先找到代表数据特征的列（如ID，标题等），能唯一标识该数据。如果找不到唯一的列，可通过合并多列来组合。
在这一列拖入更新到配置 , 输入要更新的配置的名称column，则在执行时，该模块每经过一行数据，就会自动更新该列的值到全局配置(TODO：路径)中。配合软件的自动保存机制，该值会随时写入配置文件中。
2.2.下次执行时定位到中断点
在任务配置时，添加正则过滤，正则项的值填写为{column}，代表从配置中读取该值。
3.定时抓取
在实现命令行功能后，定时抓取也就变得非常简单了。
在Linux平台上，可使用crontab来执行任务，具体可参考这里
在Windows上则可以使用任务计划来执行。可以参考这里
TODO： 增加更细致的写法
4.回补数据方法
本功能简直是神器，Hawk能够精确地记录失败的位置和上下文，并在重试时将配置错误和失败部分补充回来。配置非常简单，但功能很强大。
开启该功能，需要在系统设置中勾选生成错误集合, 则数据清洗在执行时，就会将错误的信息保存到一张新表中，除了当时错误时的参数输入列之外，增加的列如下：
- __SysETL: 产生错误时的任务名
- __SysTime: 错误时间
- __SysERROR: 错误原因
- __SysObjectID: 产生错误的模块唯一ID
出现错误后，可使用如下流程创建补数据任务:
- 根据错误的信息，确定修改的策略，如增加延时，改进参数，修复bug等..
- 添加从数据表生成, 表名为刚才创建的错误表表名。
- 可以按需拖入延时，或其他你希望的过滤，转换等模块
- 拖入重试补数据, 勾选是否要执行原来的执行器。
- 如果想把回补的数据写到另外一张表，则可拖入写入数据表, 或写入数据库. 或任何你想要处理的流程。
在补数据时，尽量使用串行模式，以获取更平稳的表现。可能在补充数据时会再次发生错误，此时只要将写入数据表的名称改为新产生错误的表名即可。
其原理是定位到发生错误的模块，并使用当时的参数重新调用该模块之后的任务。这就是流系统的强大之处。
网友评论