前言
使用jsoup也有段时间了,用的更多的偏模拟http请求方面,因为这个是爬虫关键,数据都没有还怎么解析。下面分享一些自己的使用心得,有什么疑问,或者需改进的地方,欢迎交流。
开始
- post提交数据的技巧,jsoup提交数据的方法有几个(用过的)
- data(String key, String value),数据多了,要一直.data,很麻烦
- data(Map<String,String> data),其实只是封装了下,数据多了,也要一直put
- data(String... keyvals),("key","value","key","value") 这样一直拼下去,
- requestBody(String body),【推荐】提交json格式的数据,包括一般格式,比如"platform=1&edition=252&sign=.....",自己拼接好的字符串,直接扔进来即可。
- 下载图片,之前文章也提到过,默认下载1M,设置大小用maxBodySize(int bytes)
- BufferedInputStream bodyStream() 大图片,美女写真,自然景观什么的
- byte[] bodyAsBytes() 验证码之类的小图片
- 忽略SSl,禁止重定向,忽略类型错误
- ignoreContentType(true) 忽略格式错误
- followRedirects(false) 禁止重定向
- validateTLSCertificates() 忽略SSl,TSL,虽然官方不推荐,但是还是可以用
- 获取cookie名字一样时的问题。multiHeaders方法是1.11.1之后加的,解决了问题。* Added support for multiple headers with the same name in Jsoup.Connect
- String cookie(String name) 获取指定名字的cookie
- Map<String,String> cookies() cookie以map格式返回,很显然同名只返回一个
- Map<String,List<String>> multiHeaders()
总结
工具使用,尽量使用最新,有什么问题尽量看官方文档,这样可减少因问题描述不到位,导致搜不到满意答案的问题发生。
网友评论