美文网首页
webmagic中级(二)

webmagic中级(二)

作者: 沙漏如心 | 来源:发表于2018-03-14 09:12 被阅读0次

上一篇呢,我们说了pipeline 数据管道,这下呢,我们就来了解一下这个download,看看这些个数据呢,到底是怎么来的。

download

  这个呢,就是我们查看源码,里面能获得到的所有的类了,怎么东西有点多啊,要不,我们挑重点??

download接口

   这个呢,是我么看到的download接口的内部呢,download,请求发送,数据下载,setThread,设置线程数!

download方法

  这个呢,就是我们要看的重点了,里面就是发送请求的地方了!在OnSuccess() 方法里面呢,进行一下简单的判定,看看我们的请求发送成没成功啊,是不是被对面给拦截了啊,看看验证码一类的问题。

 发送完请求,会在这个方法里面将我们接受到的参数来进行拼接,拼接成我们解析的page页面。

download 呢,在webmagic自己封装的时候呢,使用的是httpclient 这种请求方式,不过呢,我还是不太建议使用这种请求方式呢,看上去白茫茫一片啊,根本找不到重点核心在哪。

如果这些呢,都不太符合你的需求的话,在webmagic-extension里面还存在很多的哦,总有一个适合你!

或者私信我的话,也是可以的,我将问你量身打造一个专用的(付费哦)! 

https://blog.csdn.net/qq_36783371  一个大佬写的博客,欢迎去砸鸡蛋!

相关文章

  • webmagic中级(二)

    上一篇呢,我们说了pipeline 数据管道,这下呢,我们就来了解一下这个download,看看这些个数据呢,到底...

  • webmagic中级:(三)

    这里呢,我们会说一下webmagic 的第三个核心,shceduler,管理器,他在webmagic整体框架中主要...

  • webmagic中级:(四)

    在这个地方我们将对spider来进行一点源码的查看! spider 因为呢,不想其他的几个部件一样,这个部件拥有...

  • WebMagic指北

    WebMagic指北 一、快速开始 WebMagic主要包含两个jar包:webmagic-core-{versi...

  • java爬虫基础--webmagic

    java爬虫--webmagic 整理自尚硅谷教学内容 一、webMagic的总体介绍 WebMagic的结构分为...

  • WebMagic+Spring Boot爬取网易云音乐评论

    关于WebMagic WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个...

  • 爬虫框架webmagic与spring boot的结合使用

    1. 爬虫框架webmagic WebMagic是一个简单灵活的爬虫框架。基于WebMagic,你可以快速开发出一...

  • webmagic高级:(二)

    这个篇呢,我们主要说这个Page 对象,使用过webmagic 的人呢,都知道Page对象呢。是在dow...

  • Webmagic+selenium+chromedriver使用

    一、Webmagic总体架构: WebMagic的结构分为Downloader、PageProcessor、Sch...

  • WebMagic JAVA爬虫框架

    官方文档 WebMagic总体架构 WebMagic的结构分为Downloader、PageProcessor、S...

网友评论

      本文标题:webmagic中级(二)

      本文链接:https://www.haomeiwen.com/subject/nrizfftx.html