美文网首页
前嗅ForeSpider教程:运行设置(三)

前嗅ForeSpider教程:运行设置(三)

作者: 前嗅大数据 | 来源:发表于2019-03-05 11:39 被阅读0次

    今天,小编为大家详细介绍一下:前嗅ForeSpider运行设置中的任务定时,预警设置,过滤设置,这三大模块。具体内容如下:

    一,任务定时

    【任务定时】

    用户可以通过任务定时,进行自动启动/停止采集。也可以选择间隔某个时间段后启动/停止采集。

    二,预警设置

    【预警设置】

    网络异常

    可以设置网络异常连续多少次,则进行预警提醒。

    反爬识别

    可以设置疑似被反爬了多少次,则进行预警提醒。

    预警操作

    设置当出现预警时,软件会进行什么操作。

    ①无:软件仍然照常操作。

    ②暂停:软件暂停,等待处理。

    ③自动休眠:预留。

    ④自动更换代理:预留。

    预警提醒

    ①不提醒:不进行提醒。

    ②图标闪烁:软件任务栏的图标闪烁。

    ③弹窗等待:软件弹出弹窗,等待人工处理。

    三,过滤设置

    通过设置采集的任务量大小、采集文件大小和文件类型,使软件采集到某种任务状况时可以自动停止。

    【过滤设置-采集文件大小下限】

    采集文件大小下限

    可以设置一个阈值,在采集量达到阈值时采集自动停止。

    采集文件大小阈值

    可以设置一个采集文件大小的阈值,当文件大小超过阈值时不予采集该文件,通过设置阈值可以有效过滤超大文件,网页中不需要的超大文件将不予采集。

    采集文件类型列表

    ​在这里选择需要的文件类型,选中的文件类型将会被采集下来。不予选择的类型将在采集时被过滤。

    相关文章

      网友评论

          本文标题:前嗅ForeSpider教程:运行设置(三)

          本文链接:https://www.haomeiwen.com/subject/htenuqtx.html