美文网首页
Java爬虫(六)-- httpClient进阶:超时时间设置+

Java爬虫(六)-- httpClient进阶:超时时间设置+

作者: Richard_易 | 来源:发表于2018-03-15 14:58 被阅读0次

    一、前言

    本文主要介绍httClient超时时间设置,以及cookie保存策略设置。

    二、超时时间设置

    httpClient内部有三个超时时间设置:

    • connectTimeout -- 连接超时

    指的是连接目标url的连接超时时间,即客服端发送请求到与目标url建立起连接的最大时间。如果在该时间范围内还没有建立起连接,则就
    抛出connectionTimeOut异常。如测试的时候,将url改为一个不存在的url:"http://test.com",超时时间3000ms过后,系统报出异常:

    org.apache.commons.httpclient.ConnectTimeoutException:The host did not accept the connection within timeout of 3000 ms
    
    • connectionRequestTimeout -- 连接池获取可用连接超时(使用连接池之后需要设置)

    httpClient中的要用连接时尝试从连接池中获取,若是在等待了一定的时间后还没有获取到可用连接(比如连接池中没有空闲连接了)则会抛出获取连接超时异常。

    • socketTimeout -- 读取数据超时

    设置超时时间的意义在于,让你知道在哪个地方出问题了。就比如如果请求返回超时,如果你没设置读取数据超时,程序就会一直卡在那个地方,也不会报错。

    httpClient4.5版本之后,这几个参数的设置就集成抽象到了RequestConfig中,具体的例子如下:

    RequestConfig defaultRequestConfig = RequestConfig.custom()
                    .setSocketTimeout(10000)
                    .setConnectTimeout(5000)
                    .setConnectionRequestTimeout(5000)
                    .build();
    
    BasicCookieStore httpClient = HttpClients.custom()
                    .setDefaultRequestConfig(defaultRequestConfig)
                    .build();
    

    cookie保存策略设置

    CookieSpec接口代表了cookie管理的规范,cookie管理规范包含如下内容:

    1. 解析Set-Cookie头部的规则
    2. 验证已解析cookie的规则
    3. 为已给定主机,端口和源路径格式化Cookie头部

    httpClient附带多种CookieSpec实现:

    • Standard strict:状态管理策略行为完全符合RFC6265第四章的行为定义。

    • Standard:状态管理策略较为符合RFC6265第四章定义的行为,以期望在不是完全遵守该行为之间的服务器之间进行交互。

    • Netscape 草案(已过时):该策略遵守Netscape公司公布最初的规范草案,除非确实需要与旧代码兼容,否则尽量避免使用它。

    • RFC 2965(已过时): 状态管理策略符合过时的RFC2965定义的状态管理规范。请不要在新应用中使用。

    • RFC2109(已过时):状态管理策略符合过时的RFC2109定义的状态管理规范,请不要在新应用中使用。

    • Browser compatibility(已过时):该策略尝试尽量去模拟老旧的浏览器版本如微软IE和Mozilla FireFox,请不要在新应用中使用。

    • Default:默认cookie策略是一种综合性的策略,其基于HTTP response返回的cookie属性如version信息,过期信息,与RFC2965,RFC2109或者Netscape草案兼容,该策略将会在下一个HttpClient小版本(基于RFC6265)中废弃。

    • Ignore cookies:所有的cookie都被忽略

    上面讲这么多估计大家也不会怎么看,会用到的主要是Standard strictStandardIgnore cookies也可能会用到。

    如果对于cookie解析有定制化的要求,httpClient也允许我们自定义cookie策略。为了实现定制cookie策略,你应该创建一个自定义的CookieSpec接口的实现,创建一个CookieSpecProvider的实现类,然后用该实现类去创建和初始化自定义规范的实例,然后使用httpClient进行注册,一旦自定义规范被注册,它就会如同标准cookie规范一样被触发。

    具体怎么做不在本篇文章中讲,等我遇到来添上。

    怎么设置cookie策略的代码如下:

    RequestConfig defaultRequestConfig = RequestConfig.custom()
        // 防止cookie reject 在新程序中,强烈建议使用Standard或Standard strict策略
                    .setCookieSpec(CookieSpecs.STANDARD_STRICT) 
                    .build();
    
    BasicCookieStore httpClient = HttpClients.custom()
                    .setDefaultRequestConfig(defaultRequestConfig)
                    .build();
    

    参考资料

    1. https://hc.apache.org/httpcomponents-client-ga/tutorial/html/statemgmt.html#d5e515
    2. http://blog.csdn.net/u011191463/article/details/78664896

    相关文章

      网友评论

          本文标题:Java爬虫(六)-- httpClient进阶:超时时间设置+

          本文链接:https://www.haomeiwen.com/subject/najhqftx.html