美文网首页
前嗅ForeSpider脚本教程:数据过滤脚本

前嗅ForeSpider脚本教程:数据过滤脚本

作者: 前嗅大数据 | 来源:发表于2019-04-01 14:02 被阅读0次

    数据过滤脚本与数据抽取脚本并列的脚本,它的作用是对抽取的数据进行过滤。

    注意:一旦有了数据过滤脚本则数据抽取脚本将失效,即“数据处理” 下拉菜单必须选择“数据过滤脚本”。

    一.可用全局对象(只读)

    EXTRACT:当前采集引擎[ 对象类型:extractor]

    DATADB:当前连接的数据库[ 对象类型:dataBase ]

    RESULT:当前结果集对象[ 对象类型:result ]

    URL:当前采集的链接对象[ 对象类型:url]

    URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型:urltext ]

    DOC:当前采集的文档对象[ 对象类型:grabDoc]

    DOM:当前采集文档的dom对象[ 对象类型:dom]

    ITEM:模板区域的dom树节点(如果模板未选择区域则为dom树的根节点)[ 对象类型:domItem]

    TMPL:当前文档模板对象[ 对象类型:tmplTmpl ]

    REC:当前记录集对象[ 对象类型:record]

    二.this对象

    当前数据记录[record ]对象。

    三.脚本返回值

    返回true(非0)则保留记录,不返回或者返回false(0)则丢弃记录。

    四.示例:

    示例一:只保留正文内容长度为1000~3000字符的记录。

    if(this.content.length>=1000&&this.content.length<=3000)returntrue;elsereturnfalse;

    示例二:以下脚本过滤掉字段content为空的的记录(即content字段必须有值)。

    if(this.content)returntrue;elsereturnfalse;

    相关文章

      网友评论

          本文标题:前嗅ForeSpider脚本教程:数据过滤脚本

          本文链接:https://www.haomeiwen.com/subject/xhkvbqtx.html