效果演示
使用SQL
SELECT SUM(money) FROM tb_order WHERE id <=50000000;
结果
image.png
大概耗时: image.png
使用Java fork join
image.png由于使用Java需要对数据做进程间读取,所以Java计算速度稍慢。
关于 fork join
ForkJoin是由JDK1.7后提供多线并发处理框架。ForkJoin的框架的基本思想是分而治之。
什么是分而治之?
分而治之就是将一个复杂的计算,按照设定的阈值进行分解成多个计算,然后将各个计算结果进行汇总。相应的ForkJoin将复杂的计算当做一个任务。而分解的多个计算则是当做一个子任务。
image.png
具体Java代码
初始化5000W条订单数据略...
基于springboot mybatis构建项目
public interface TbOrderMapper {
@Select("select money from tb_order where id>= #{beforeId} limit #{size}")
List<Integer> selectMoney(@Param("beforeId") Integer beforeId, @Param("size") Integer size);
@SpringBootTest
@RunWith(SpringRunner.class)
public class TbOrderTest {
@Autowired
private TbOrderMapper tbOrderMapper;
// 构建任务类
private static class SumTask extends RecursiveTask<Long> {
//叶子节点任务 处理数据量(计算)
private static final int minCount = 5000;
private int beginId;
private TbOrderMapper tbOrderMapper;
private Integer size;
public SumTask(Integer beginId, Integer size, TbOrderMapper tbOrderMapper) {
this.beginId = beginId;
this.tbOrderMapper = tbOrderMapper;
this.size = size;
}
@Override
protected Long compute() {
// 如果到达拆分的最小粒度则不再拆分,进行实质计算
if (size <= minCount) {
long sum1 = 0;
// 由于本数据库表数据 主键id 自增,可以采取这种方式
List<Integer> integers = tbOrderMapper.selectMoney(beginId, size);
for (Integer integer : integers) {
sum1 += integer;
}
return sum1;
}
// 这里使用的是二分法进行任务拆分
int mid = size / 2;
int yu = size & 1;
SumTask left = new SumTask(beginId, mid, tbOrderMapper);// 左子任务
SumTask right = new SumTask(beginId + mid, mid + yu, tbOrderMapper);// 右子任务
invokeAll(left, right); // 递归提交任务
return left.join() + right.join(); // 合并结果
}
}
@Test
public void testAdd5000WMoney() {
// 构建 fork join 线程池
ForkJoinPool forkJoinPool = new ForkJoinPool(6);
long l = System.currentTimeMillis();
// 提交整体任务,同步等待 线程池 执行的最终join结果
Long invoke = forkJoinPool.invoke(new SumTask(1, 50000000, tbOrderMapper));
System.out.println("结果:" + invoke + "耗时:" + (System.currentTimeMillis() - l));
}
}
网友评论