美文网首页
前嗅ForeSpider教程:运行设置(二)

前嗅ForeSpider教程:运行设置(二)

作者: 前嗅大数据 | 来源:发表于2019-03-04 14:55 被阅读0次

    今天,小编为大家详细介绍一下:前嗅ForeSpider运行设置中的网络超时,HTTP设置,加载设置,任务模式,这四大模块。具体内容如下:

    一,网络超时

    【网络超时】

    接收超时

    当对方服务器繁忙时,可将接收超时的时间调大,否则软件在超时后将不再接收该链接地址的数据。

    发送超时

    当采集的数据量过大时,可以将发送超时的时间调大。

    重试次数

    网络连接失败后重新连接的次数。网络状态不稳定时,可以将重试次数调大。

    二,http设置

    【http设置】

    模拟浏览器版本

    模拟不同版本的浏览器。当采集预览或内置浏览器无法打开某网站时,如果是由于内置浏览器的版本造成的,可以在此更改模拟浏览器的版本。(重启软件生效)

    重定向重试次数

    网站重定向的重试次数。

    三,加载设置

    【加载设置】

    1.加载设置

    ① 禁用JavaScript

    【加载设置--完全禁用JavaScript】

    对于有些网页,JavaScript只用于美观效果,可以关闭JavaScript,会加快采集速度。在这里设置的为全局的禁用JavaScript。

    一般在配置时选择完全禁用。

    当选择禁用禁用JavaScript时,对于js脚本采集时就不解析了,直接跳过。

    ② 完全不禁用JavaScript

    【加载设置--完全不禁用JavaScript】

    完全不禁用即启用JavaScript,可以启用JavaScript的相关方法。 在这里设置的为全局的完全不禁用JavaScript。

    ③ 不禁用当前页面

    【加载设置--不禁用当前页面】

    不禁用当前页面中的当前页指Script标签里面的js,其中不包括src=xxx.js。

    在这里设置的为全局的不禁用当前页面。

    2.禁用SSL协议(https)

    不使用https协议,会提升采集速度。

    四,任务模式

    【任务模式】

    启动方式选择自动

    打开软件后会自动采集。

    2.停止方式自动

    当选择动态加载的情况下,软件采集完毕时不会自动停止,如果选择了自动,则会自动停止。(不常用功能)

    相关文章

      网友评论

          本文标题:前嗅ForeSpider教程:运行设置(二)

          本文链接:https://www.haomeiwen.com/subject/wcliuqtx.html