美文网首页我爱编程
webmagic高级:(四)

webmagic高级:(四)

作者: 沙漏如心 | 来源:发表于2018-03-19 10:52 被阅读0次

          本篇呢,本来打算写一下,pipeline里面的ResultItems对象,但是呢,简单看了一下,里面东西不是很多。所以呢,我这次说,这个selectable 对象,也就是节点对象,就想jsoup里面element对象.不过呢,这个对象内容较多所以,我们就只看一下他的接口,而不去看他的很多个实现类了!

selectable

前面呢,我们说过webmagic呢,是一个集成了jquery选择器,css选择器,跟正则选择器,xpath,正则选择器,等诸多选择器于一身的爬虫框架,而我们在这里的时候呢,就蛀牙看看他们的使用方法!

public Selectable xpath(String xpath);//xpath选择器

public Selectable $(String selector);//jquery选择器

public Selectable $(String selector, String attrName);//jquery选择器

public Selectable css(String selector);//css选择器器

public Selectable  css(String selector, String attrName);//css选择器

public Selectable smartContent();//智能内容

public Selectable  links();//获取整个页面的所有的连接

public Selectable regex(String regex);//正则表达式获取数据

public Selectable regex(String regex, int group);//正则表达式获取数据

public Selectable replace(String regex, String replacement);//正则表达式字符串你替换

public String toString();//转成string

public String get();//获取字符串

public boolean match();//判断是否正确,一般跟正则表达式混用

public List all();// 获取字符串类型 的list

public Selectable jsonPath(String jsonPath);//使用jsonPath 来获取数据

public Selectable select(Selector selector);//查询某个节点  没用过

public Selectable selectList(Selector selector);//查询每个节点 没用过

public List nodes();//获取内部是节点的List

以上呢,就是SelectTable 的一些方法,已经我所知道的某些方法,关于那些我没有使用过的方法,欢迎哥哥大佬,为我指点一下,告诉我这些方法还怎么使用! 

相关文章

  • webmagic高级:(四)

    本篇呢,本来打算写一下,pipeline里面的ResultItems对象,但是呢,简单看了一下,里面东西...

  • webmagic高级:(一)

    我们在前面的一些内容里面大概的讲述了一下,我对这个webmagic爬虫框架的一些了解,以及对整个爬虫的一些...

  • webmagic高级:(五)

    这个呢,也就是我对webmagic 做的最后一篇的内容了,在这个里面我打算说很多的的对象,只不过这些对象内容较为简...

  • webmagic高级:(二)

    这个篇呢,我们主要说这个Page 对象,使用过webmagic 的人呢,都知道Page对象呢。是在dow...

  • webmagic高级:(三)

    这一篇呢,我们看看Site 这个对象! Site 作为Webmagic 的一个重要对象,却永远是呗最先忽略掉的一个...

  • WebMagic指北

    WebMagic指北 一、快速开始 WebMagic主要包含两个jar包:webmagic-core-{versi...

  • java爬虫基础--webmagic

    java爬虫--webmagic 整理自尚硅谷教学内容 一、webMagic的总体介绍 WebMagic的结构分为...

  • webmagic中级:(四)

    在这个地方我们将对spider来进行一点源码的查看! spider 因为呢,不想其他的几个部件一样,这个部件拥有...

  • WebMagic+Spring Boot爬取网易云音乐评论

    关于WebMagic WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个...

  • 爬虫框架webmagic与spring boot的结合使用

    1. 爬虫框架webmagic WebMagic是一个简单灵活的爬虫框架。基于WebMagic,你可以快速开发出一...

网友评论

    本文标题:webmagic高级:(四)

    本文链接:https://www.haomeiwen.com/subject/kjnxqftx.html