Bitmap解决10亿手机号码去重实践案例，BitSet压缩存储30倍

假设有一个需求，需要对10亿的数据，进行去重比如手机号码，身份证号码等大批量数据？

或者我们需要在日志数据中，筛选出活跃用户该如何操作呢？或者是批量导入Excel数据，找出重复的数据，相同类型的数据做处理等解决方案的实现，我们需要考虑性能，存储等维度去分析如何实现才能更加合理

最常见的三种实现方式讲解：

1.数组存储，然后for循环判定，进行去重麻烦，复杂度较高

2.Hashset，通过hash取模，判定数据是否重复方便，天然集合特性

3.推荐的一种方式bitmap的方式

几种实现方式及其差别，请详见如图所示

通过上图计算可以得知，bitmap可以以最小的内存代价，实现10亿数据去重

我们再来看一下Bitmap的数据结构和判定去重的实现原理，如下图：

以上就是使用bitmap来实现大批量数据判定去重的实现方式，接下来我们使用Java代码具体实现一下，因为在Java中有一个bitset是一个超级大的数组来实现，java中没有bit，所以使用long类型来代替，long类型有8字节，就是64位，一个long类型可以分为64位就是64个bit

public static void main(String[] args) {
        BitSet bitSet=new BitSet();
        bitSet.set(5);

        boolean flag = bitSet.get(5);
        // 打印结果就是 flag = true
        System.out.println("flag = " + flag);
        boolean flagIndex = bitSet.get(4);
        // 打印结果就是 flagIndex = false
        System.out.println("flagIndex = " + flagIndex);


        // 实现电话号码的需求
        // 152 7092 4356 电话号码前三位都是号码段，都是固定的，所以可以使用map存储，然后剩余的几位可以放到BitSet中去
        bitSet.set(70924356);
        HashMap<String, BitSet> objectObjectHashMap = new HashMap<>(10);

        BitSet bitSet152 = objectObjectHashMap.computeIfAbsent("152", k -> new BitSet());
        // 因为bitSet只能使用Integer类型 如果只使用8个位，那么就是8乘10亿/8288608
        bitSet152.set(70924356);

    }

以上就是使用bitmap解决Bitmap解决10亿手机号码去重实践案例，BitSet压缩存储30倍甚至更多的解决方案