美文网首页
springBoot + mybatis 分页问题研究

springBoot + mybatis 分页问题研究

作者: 慕尔如星 | 来源:发表于2018-11-12 15:51 被阅读0次

    一、mybatis +generator 原生的分页

    今天在做查询优化的时候,遇到mybatis查询性能问题,由于给出的查询条件比较多(多达十几个),并且需要做查询总数的count计算,返回给前端需要分页;如果使用原生的查询分页及计数需要查询两次:

    • 查询计数: countByExample
    • 查询分页:rowBounds + selectByExampleWithRowbounds

    由于数据量比较大,这样两次查询耗时就超过1000ms,如果网络有延迟,会让使用的人感受很糟糕。

    调研了一下selectByExampleWithRowbounds方法:

    // 对应的xxxMapper.xml内的方法
    <select resultMap="BaseResultMap" parameterType="xxxxx.com.xxxxx" id="selectByExampleWithRowbounds" >
        select
        <if test="distinct" >
          distinct
        </if>
        <include refid="Base_Column_List" />
        from xxx_xxxx_record
        <if test="_parameter != null" >
          <include refid="Example_Where_Clause" />
        </if>
        <if test="orderByClause != null" >
          order by ${orderByClause}
        </if>
      </select>
    
    // 上述select中引用的方法如下:
    <sql id="Example_Where_Clause" >
        <where >
          <foreach collection="oredCriteria" item="criteria" separator="or" >
            <if test="criteria.valid" >
              <trim prefix="(" suffix=")" prefixOverrides="and" >
                <foreach collection="criteria.criteria" item="criterion" >
                  <choose >
                    <when test="criterion.noValue" >
                      and ${criterion.condition}
                    </when>
                    <when test="criterion.singleValue" >
                      and ${criterion.condition} #{criterion.value}
                    </when>
                    <when test="criterion.betweenValue" >
                      and ${criterion.condition} #{criterion.value} and #{criterion.secondValue}
                    </when>
                    <when test="criterion.listValue" >
                      and ${criterion.condition}
                      <foreach collection="criterion.value" item="listItem" open="(" close=")" separator="," >
                        #{listItem}
                      </foreach>
                    </when>
                  </choose>
                </foreach>
              </trim>
            </if>
          </foreach>
        </where>
      </sql>
    

    从上述代码中,虽然代码比较长,但是粗略扫一下发现并没有sql中使用分页查询会用到的limit字段,因此推断它的查询不是真正意义上的分页查询,这样的话当查询数据量很大一定会存在性能问题,继续往下探索,对rowbounds源码进行分析:

    // rowbounds 定义
    public class RowBounds {
    
      public static final int NO_ROW_OFFSET = 0;
      public static final int NO_ROW_LIMIT = Integer.MAX_VALUE;
      public static final RowBounds DEFAULT = new RowBounds();
    
      private final int offset;
      private final int limit;
    
      public RowBounds() {
        this.offset = NO_ROW_OFFSET;
        this.limit = NO_ROW_LIMIT;
      }
    
      public RowBounds(int offset, int limit) {
        this.offset = offset;
        this.limit = limit;
      }
    
      public int getOffset() {
        return offset;
      }
    
      public int getLimit() {
        return limit;
      }
    
    }
    

    当我们在查询的时候传入rowBounds这个对象的时候,会调用org.apache.ibatis.session中的DefaultResultSetHandler方法实行分页,具体代码如下:

    private void handleRowValuesForSimpleResultMap(ResultSetWrapper rsw, ResultMap resultMap, ResultHandler<?> resultHandler, RowBounds rowBounds, ResultMapping parentMapping)
          throws SQLException {
        DefaultResultContext<Object> resultContext = new DefaultResultContext<Object>();
        //跳过RowBounds设置的offset值
        skipRows(rsw.getResultSet(), rowBounds);
        //判断数据是否小于limit,如果小于limit的话就不断的循环取值
        while (shouldProcessMoreRows(resultContext, rowBounds) && rsw.getResultSet().next()) {
          ResultMap discriminatedResultMap = resolveDiscriminatedResultMap(rsw.getResultSet(), resultMap, null);
          Object rowValue = getRowValue(rsw, discriminatedResultMap);
          storeObject(resultHandler, resultContext, rowValue, parentMapping, rsw.getResultSet());
        }
      }
    private boolean shouldProcessMoreRows(ResultContext<?> context, RowBounds rowBounds) throws SQLException {
        //判断数据是否小于limit,小于返回true
        return !context.isStopped() && context.getResultCount() < rowBounds.getLimit();
      }
      //跳过不需要的行,应该就是rowbounds设置的limit和offset
      private void skipRows(ResultSet rs, RowBounds rowBounds) throws SQLException {
        if (rs.getType() != ResultSet.TYPE_FORWARD_ONLY) {
          if (rowBounds.getOffset() != RowBounds.NO_ROW_OFFSET) {
            rs.absolute(rowBounds.getOffset());
          }
        } else {
          //跳过RowBounds中设置的offset条数据
          for (int i = 0; i < rowBounds.getOffset(); i++) {
            rs.next();
          }
        }
    

    所以并没有在查库的时候就进行分页,这样一旦数据量很大就会有性能问题,借助谷歌查询了一下,现在springBoot下比较流行的物理分页方法借助插件gitHub传送门。文档非常简单,这里给出简单配置使用示例:

    1. 首先导入pageHelper包,我的项目依赖管理是gradle,所以在dependencies中加入:
        // pagehelper 物理分页查询
        compile group: 'com.github.pagehelper', name: 'pagehelper-spring-boot-starter', version: '1.2.9'
    

    注意!!!
    记住组名一定要是pagehelper-spring-boot-starter,适用于springBoot项目,如果是pageHelper组名字话,你会发现在springBoot项目使用这个插件查询会失效。

    1. 接着按照自己的需求写一个配置文件(springBoot中都是配置代码化,不需要再xml中配置,这是springBoot优势,不要本末倒置了),或者在application启动项中加入Bean如下:
        @Bean
        public PageHelper pageHelper() {
            PageHelper pageHelper = new PageHelper();
            Properties p = new Properties();
    //       如果直接使用原来的rowBounds方式可以设置这两项
    //        p.setProperty("offsetAsPageNum","true");    
    //        p.setProperty("rowBoundsWithCount","true");
            p.setProperty("reasonable","true");
            p.setProperty("dialect","mysql");
            pageHelper.setProperties(p);
            return pageHelper;
        }
    
    1. 使用示例:
    // 定义一个查询返回类
    @Data
    @Builder
    public class UserResponse {
    
        private List<User>  users;
    
        private long total;
    }
    
    // 查询实现类
    @Service
    public class UserServiceImpl implements UserService {
    
        @Autowired
        UserMapper userMapper;
    
        @Override
        public UserResponse findUser( Integer pageNum,Integer pageSize) {
            
            // example可以加入查询条件
            UserExample example = new UserExample();
            PageInfo pageInfo = PageHelper.startPage(pageNum,pageSize).doSelectPageInfo(() -> userMapper.selectByExample(example));
            return UserResponse.builder().users(pageInfo.getList()).total(pageInfo.getTotal()).build();
        }
    

    个人比较喜欢这种流式写法,可以,里面参数不懂的可以感觉上面的github链接查看,不足之处欢迎指出。

    以上就是springBoot+mybatis+gradle+pageHelper实现分页查询一个示例。

    相关文章

      网友评论

          本文标题:springBoot + mybatis 分页问题研究

          本文链接:https://www.haomeiwen.com/subject/nmccfqtx.html