MongoDB 查询超时异常 SocketTimeoutExce

image

摘要：在对大数据量的集合进行聚合操作，如果用时过长，偶尔会发生Read timed out异常。

问题概要

在对超过百万条记录的集合进行聚合操作。

image

偶尔会发生Read timed out 异常。

image

通过多次测试，发现执行一次聚合平均时间为5s，超过5s时就会报错！

然后查看MongoDB的配置信息：
<pre>
socket-timeout="5000" //5s
</pre>

socket-timeout的默认配置为0，也就是没有限制。

没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。

通过多次测试查询1900万条数据发现最长执行时间为28秒，则可以将socket-timeout设置成280000。

解决方案

但根据我本地统计业务，统计数据会随之增加，则将socket-timeout设置0，没有限制。

<font color=red size=3 face="微软雅黑">注意：MongoDB在与Spring整合时，如果要配置多个MongDB源，只会启用最后一个<mongo:options>配置。</font>

应该把参数配置信息存储在properties文件中。

  <mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">
      <mongo:options connections-per-host="200"
        threads-allowed-to-block-for-connection-multiplier="100"
        connect-timeout="1000"
        max-wait-time="1000"
        auto-connect-retry="true"
        socket-keep-alive="true"
        socket-timeout="10000"
        slave-ok="true"
        write-number="1"
        write-timeout="0"
        write-fsync="true" />
      </mongo:mongo>

Jdbc文件配置:

  mongo.connectionsPerHost=8
  mongo.threadsAllowedToBlockForConnectionMultiplier=4
  mongo.connectTimeout=1000
  mongo.maxWaitTime=1500
  mongo.autoConnectRetry=true
  mongo.socketKeepAlive=true
  mongo.socketTimeout=0
  mongo.slaveOk=true

注意事项

<font color=gray size=2 face="微软雅黑"> 最后一点： ConnectionTimeOut和SocketTimeOut的区别：

一次完整的请求包括三个阶段：1、建立连接 2、数据传输 3、断开连接

如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut，就会抛 ConnectionTimeOutException，即服务器连接超时，没有在规定的时间内建立连接。

如果与服务器连接成功，就开始数据传输了。

如果服务器处理数据用时过长，超过了SocketTimeOut，就会抛出SocketTimeOutExceptin，即服务器响应超时，服务器没有在规定的时间内返回给客户端数据。