美文网首页
Jsoup使用心得(新手必看)

Jsoup使用心得(新手必看)

作者: Ocly | 来源:发表于2018-01-12 15:25 被阅读354次
努力不一定成功,但不努力一定很爽

前言

使用jsoup也有段时间了,用的更多的偏模拟http请求方面,因为这个是爬虫关键,数据都没有还怎么解析。下面分享一些自己的使用心得,有什么疑问,或者需改进的地方,欢迎交流。

开始

  1. post提交数据的技巧,jsoup提交数据的方法有几个(用过的)
    • data​(String key, String value),数据多了,要一直.data,很麻烦
    • data​(Map<String,String> data),其实只是封装了下,数据多了,也要一直put
    • data​(String... keyvals),("key","value","key","value") 这样一直拼下去,
    • requestBody​(String body),【推荐】提交json格式的数据,包括一般格式,比如"platform=1&edition=252&sign=.....",自己拼接好的字符串,直接扔进来即可。
  2. 下载图片,之前文章也提到过,默认下载1M,设置大小用maxBodySize​(int bytes)
    • BufferedInputStream bodyStream​() 大图片,美女写真,自然景观什么的
    • byte[] bodyAsBytes​() 验证码之类的小图片
  3. 忽略SSl,禁止重定向,忽略类型错误
    • ignoreContentType(true) 忽略格式错误
    • followRedirects(false) 禁止重定向
    • validateTLSCertificates() 忽略SSl,TSL,虽然官方不推荐,但是还是可以用
  4. 获取cookie名字一样时的问题。multiHeaders方法是1.11.1之后加的,解决了问题。* Added support for multiple headers with the same name in Jsoup.Connect
    • String cookie​(String name) 获取指定名字的cookie
    • Map<String,String> cookies​() cookie以map格式返回,很显然同名只返回一个
    • Map<String,List<String>> multiHeaders​()

总结

工具使用,尽量使用最新,有什么问题尽量看官方文档,这样可减少因问题描述不到位,导致搜不到满意答案的问题发生。

相关文章

  • Jsoup使用心得(新手必看)

    前言 使用jsoup也有段时间了,用的更多的偏模拟http请求方面,因为这个是爬虫关键,数据都没有还怎么解析。下面...

  • Android端 WebView动态注入js

    首先导入工具类:implementation 'org.jsoup:jsoup:1.14.3'当使用jsoup做爬...

  • android studio 安卓7.0爬虫 学习记录 2

    2 使用jsoup获得网页标题 2 0 参考资料 jsoup安装指南 jsoup使用指南 2 1 通过gradle...

  • Jsoup的使用心得

    Jsoup学习笔记 在平常开发中我们经常需要去另外的网站去爬取一些数据,对于正则不太懂又想偷懒的同学就可以使用Js...

  • Jsoup 学习

    了解Jsoup Jsoup使用一个解析HTML文件的Java包。利用Jsoup,可以实现以下内容的抽取 文本抽取 ...

  • Android利用Jsoup解析html

    Jsoup的介绍 Jsoup官网 Jsoup是能方便的增删查改HTML中的元素 在android中使用 引入 bu...

  • Jsoup爬虫

    Jsoup的使用 (1)获取HTML jsoup提供两种网络请求,get和post,使用代码也及其简单,我们首先爬...

  • Jsoup 使用

    Jsoup Jsoup 是一款轻量高效的 html 文档解析工具,可类比 xml 中的 dom4j 、jdom J...

  • 云计算D6

    参考 如何使用jsoup登陆需要用户名和密码的网页 Http 请求原理简介 HttpClient + Jsoup ...

  • 51闪电购:新手借款必看!下款率提升99%

    一图看懂如何借款,新手必看,轻松下款!

网友评论

      本文标题:Jsoup使用心得(新手必看)

      本文链接:https://www.haomeiwen.com/subject/yyoxoxtx.html