大量数据库中的数据根据计算字段手动排序分页

   最近做的项目中，涉及到查询大量数据，并根据需要额外计算出的字段手动排序分页返回的功能，这里简单记录。
  设想下面一个场景，数据库有三张表，楼宇表、企业表、员工表。有k个楼宇，每个楼宇下有n个企业，每个企业有m个员工，每个员工每日要填报当日的身体健康情况，要查询并分页返回员工填报率最高的十个企业信息。假设kmn的数量级非常大，且楼宇表、企业表、员工表每条记录的字段较多。

思路

  首先确定解决方案的主表是企业表。为了避免读取大量数据到内存中导致内存溢出，先自定义dto查询出所有企业id和对应的填报数据量和员工总量，甚至可以直接从sql中计算出企业id和对应填报率。根据填报率排序结束后获取符合条件的id，回查数据库。
  然后可在dto中自定义Comparator，java8的集合排序非常方便，Comparator接口新增了很多静态的比较方法，可以方便地对多种类型的数据和多个字段排序：

@Data
public class BuildingCompleteVO {

    public static final Comparator<BuildingCompleteVO> COMPARATOR =
            //先根据完成率排序
           Comparator.comparingDouble(BuildingCompleteVO::getCompletePercent)
            //完成率相同的情况下再根据id排序
                    .thenComparingInt(BuildingCompleteVO::getId)
            //默认为升序排序，reversed改为倒序
                    .reversed();

    public static final Comparator<BuildingCompleteVO> COMPARATORV2 =
            Comparator.comparingDouble(BuildingCompleteVO::getCompletePercent);

    private int id;
    //......
    private double completePercent;
}

List接口中新增的sort方法：void sort(Comparator<? super E> c)
接口实现大致如下：

 @Override
    public Page<BuildingCompleteVO> getBuildingEnterpriseRecordPage(int pageNum, int pageSize, boolean isEsc, String date) {
        //首先查出所有楼宇中企业的填报完成情况
        List<BuildingCompleteVO> list = getBuildingInfoCompleteList(date);
        //isEsc 作为升序还是倒序排序的条件
        list.sort(isEsc ? BuildingCompleteVO.COMPARATORV2 : BuildingCompleteVO.COMPARATORV2.reversed());
        //排序后查出符合条件的企业信息
        List<BuildingCompleteVO> result = PageUtil.getSubList(list, pageNum, pageSize);
        //在筛选出结果后获取id集合回查数据库，这里应该是获取对应的企业id，演示代码就不深究了
        List<Integer> idList = setNullListIfNull(result.stream().map(BuildingCompleteVO::getId).collect(Collectors.toList()));
        Map<Integer, BuildingEntity> map = buildingEntityRepo.findAllByIdIn(idList).stream()
                .collect(Collectors.toMap(BuildingEntity::getId, b -> b));

        //....

        return new PageImpl<>(result, PageRequest.of(pageNum - 1, pageSize), list.size());
    }

PageUtil实现：

public class PageUtil {

    private static int getStart(int pageNum, int pageSize) {
        pageNum = Math.max(pageNum - 1, 0);
        return pageNum * pageSize;
    }

    private static int getEnd(int pageNum, int pageSize) {
        return pageNum * pageSize;
    }

    /**
     * 根据分页参数获取子列表
     *
     * @param list
     * @param pageNum
     * @param pageSize
     * @return
     */
    public static <T> List<T> getSubList(List<T> list, int pageNum, int pageSize) {
        int start = getStart(pageNum, pageSize);
        int end = Math.min(list.size(), getEnd(pageNum, pageSize));
        return list.subList(start, end);
    }
}