美文网首页
前嗅ForeSpider脚本教程:模板脚本

前嗅ForeSpider脚本教程:模板脚本

作者: 前嗅大数据 | 来源:发表于2019-03-26 10:23 被阅读0次

    链接脚本是频道的模板中的脚本。配置了模板脚本,模板的处理流程将被改变:

    1.如果脚本未正确返回dom区域节点,则该模板的采集则完全由该脚本控制。

    2.如果脚本返回了一个正确的dom区域节点,则该模板的所有流程(链接抽取或数据抽取)都以该区域节点为基准,区域外的信息和数据将优先作为垃圾数据处理。

    一.可用全局对象(只读)

    EXTRACT: 当前采集引擎[ 对象类型:extractor ]

    DATADB: 当前连接的数据库[ 对象类型: dataBase ]

    RESULT: 当前结果集对象[ 对象类型:result ]

    URL: 当前采集的链接对象[ 对象类型: url]

    URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型:urltext ]

    DOC: 当前采集的文档对象[ 对象类型:grabDoc]

    DOM: 当前采集文档的dom对象[ 对象类型:dom]

    TMPL:当前结果集对象[ 对象类型:tmplTmpl]:等价于this对象

    二.this对象

    当前模板 [tmplTmpl] 对象。

    三.脚本返回值:

    如果需要进行数据操作必须return 文档区域(domItem对象);否则返回0。

    示例:

    以下脚本查找网页(文档)中的第一个表格对象,如果找到表格则从表格中提取链接或数据;否则不处理当前页面:

    returnDOM.FindName("table");

    如果想要特定的链接,比如关键词搜索这样的,就会用模板脚本,下面是每个模板脚本必有的代码:

    url u;u.title =" ";

    u.urlname =" ";

    u.tmplid =3;

    u.entryid = CHANN.id;

    RESULT.AddLink(u);

    相关文章

      网友评论

          本文标题:前嗅ForeSpider脚本教程:模板脚本

          本文链接:https://www.haomeiwen.com/subject/ienwvqtx.html