美文网首页
前嗅ForeSpider脚本教程:模板脚本

前嗅ForeSpider脚本教程:模板脚本

作者: 前嗅大数据 | 来源:发表于2019-03-26 10:23 被阅读0次

链接脚本是频道的模板中的脚本。配置了模板脚本,模板的处理流程将被改变:

1.如果脚本未正确返回dom区域节点,则该模板的采集则完全由该脚本控制。

2.如果脚本返回了一个正确的dom区域节点,则该模板的所有流程(链接抽取或数据抽取)都以该区域节点为基准,区域外的信息和数据将优先作为垃圾数据处理。

一.可用全局对象(只读)

EXTRACT: 当前采集引擎[ 对象类型:extractor ]

DATADB: 当前连接的数据库[ 对象类型: dataBase ]

RESULT: 当前结果集对象[ 对象类型:result ]

URL: 当前采集的链接对象[ 对象类型: url]

URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型:urltext ]

DOC: 当前采集的文档对象[ 对象类型:grabDoc]

DOM: 当前采集文档的dom对象[ 对象类型:dom]

TMPL:当前结果集对象[ 对象类型:tmplTmpl]:等价于this对象

二.this对象

当前模板 [tmplTmpl] 对象。

三.脚本返回值:

如果需要进行数据操作必须return 文档区域(domItem对象);否则返回0。

示例:

以下脚本查找网页(文档)中的第一个表格对象,如果找到表格则从表格中提取链接或数据;否则不处理当前页面:

returnDOM.FindName("table");

如果想要特定的链接,比如关键词搜索这样的,就会用模板脚本,下面是每个模板脚本必有的代码:

url u;u.title =" ";

u.urlname =" ";

u.tmplid =3;

u.entryid = CHANN.id;

RESULT.AddLink(u);

相关文章

网友评论

      本文标题:前嗅ForeSpider脚本教程:模板脚本

      本文链接:https://www.haomeiwen.com/subject/ienwvqtx.html