Redis应用实战

作者: 布朗XD | 来源:发表于2021-03-26 19:58 被阅读0次

一.统计每个页面的UV

UV（Unique Visitor）独立访客，统计1天内访问某站点的用户数。每个用户每天在同一个页面浏览多次，也只记为一次。技术方案有如下几种：
1.大数据部门使用Spark、Flink等进行处理
2.Set
3.bitmap
4.HyperLogLog 算法

Set

以PageID:UV作为key，用户ID作为V，直接进行存放。使用SADD添加数据，由于本身Set不会重复的特性，重复提交也不会有问题。如果每天计算一次，那么按照日期PageID:日期:UV作为Key即可。

package com.brianxia.redisinaction;

import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.redis.core.BoundSetOperations;
import org.springframework.data.redis.core.StringRedisTemplate;

import java.util.ArrayList;
import java.util.List;

@SpringBootTest
class UVTests {

    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    private static List<Long> userIds = new ArrayList<>();

    @BeforeAll
    static void addUser(){
        //添加用户ID
        for (long i = 0; i < 100000; i++) {
            userIds.add(i);
        }
    }


    @Test
    void set() {
        //1.构造redis key,页面ID暂时固定为1
        String key = "1:uv";
        BoundSetOperations<String, String> setOperations = stringRedisTemplate.boundSetOps(key);
        userIds.forEach(id -> {
            setOperations.add(String.valueOf(id));
        });
    }

}

添加后的内存情况:

image.png

添加前的内存情况

image.png
总计使用内存：7,652,864字节。

Bitmap

如果userId是整型，而且是从1开始连续自增的，那么使用bitmap也是不错的选择。只需要在bitmap执行的位上设置成1就可以代表用户在当天访问了该页面（比如userId是100，那么就在第100位上将bit设置成1）。

  @Test
    void bitmap() {
        //1.构造redis key,页面ID暂时固定为1
        String key = "1:uv";
        userIds.forEach(id -> {
            stringRedisTemplate.opsForValue().setBit(key,id,true);
        });
    }

添加后的内存情况:

image.png

添加前的内存情况

image.png

总计使用内存：20,544字节。

HyperLogLog 算法

Redis 在 2.8.9 版本添加了 HyperLogLog 结构, 它的优势就是每个key仅需12kb的内存, 就能存储 2^64 个不同元素的基数, 存储空间小且固定, 缺点就是元数据无法直接提取了（无法判断某个用户是否看过此页面）。HyperLogLog 提供不精确的去重计数方案，标准误差大概在 0.81%，这样的精确度已经可以满足上面的用户访问量的统计需求了。

 @Test
    void hyperloglog() {
        //1.构造redis key,页面ID暂时固定为1
        String key = "1:uv";
        userIds.forEach(id -> {
            stringRedisTemplate.opsForHyperLogLog().add(key,String.valueOf(id));
        });

        System.out.println(stringRedisTemplate.opsForHyperLogLog().size("1:uv"));
    }

添加后的内存情况:

image.png

添加前的内存情况

image.png

总计使用内存：16,448字节。

统计性能比较

分别循环十万次对每种算法统计一个key对应的count数，代码如下:

package com.brianxia.redisinaction;

import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.redis.core.BoundSetOperations;
import org.springframework.data.redis.core.BoundValueOperations;
import org.springframework.data.redis.core.RedisCallback;
import org.springframework.data.redis.core.StringRedisTemplate;

import java.util.ArrayList;
import java.util.List;

@SpringBootTest
class UVTests {

    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    private static List<Long> userIds = new ArrayList<>();

    @BeforeAll
    static void addUser(){
        //添加用户ID
        for (long i = 0; i < 100000; i++) {
            userIds.add(i);
        }

    }


    @Test
    void set() {
        //1.构造redis key,页面ID暂时固定为1
        String key = "1:uv";

        stringRedisTemplate.delete(key);

        BoundSetOperations<String, String> setOperations = stringRedisTemplate.boundSetOps(key);
        userIds.forEach(id -> {
            setOperations.add(String.valueOf(id));
        });

        //6597
        Long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            Long size = setOperations.size();
        }
        Long end = System.currentTimeMillis();
        System.out.println(end - start);
    }

    @Test
    void bitmap() {
        //1.构造redis key,页面ID暂时固定为1
        String key = "1:uv";
        stringRedisTemplate.delete(key);
        userIds.forEach(id -> {
            stringRedisTemplate.opsForValue().setBit(key,id,true);
        });

        //6976
        Long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            Long size = stringRedisTemplate.execute((RedisCallback<Long>) con -> con.bitCount(key.getBytes()));
        }
        Long end = System.currentTimeMillis();
        System.out.println(end - start);
    }

    @Test
    void hyperloglog() {
        //1.构造redis key,页面ID暂时固定为1
        String key = "1:uv";
        stringRedisTemplate.delete(key);
        userIds.forEach(id -> {
            stringRedisTemplate.opsForHyperLogLog().add(key,String.valueOf(id));
        });

        //6442
        Long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            Long size = stringRedisTemplate.opsForHyperLogLog().size("1:uv");
        }
        Long end = System.currentTimeMillis();
        System.out.println(end - start);
    }

}

基本上每种数据结构的执行时间都比较接近，具体参考https://redis.io/commands。

数据结构	执行时间（ms/十万次）	时间复杂度
set scard	6597	O(1)
bitmap bitcount	6976	O(n)
hyperloglog pfcount	6442	O(1)

结论

如果是需要精确计算，建议使用bitmap，并且bitmap可以判断某个用户是否浏览过此页面。不需要精确计算的场景下，建议使用hyperloglog。

二.移动端签到

需求1：千万级别用户，需要统计用户的签到情况。

//需求1：千万级别用户，需要统计用户的签到情况。
    @Test
    void action1() {
        //key的设计 signin:用户id:月份
        Long userId = 1000L;
        String key = "signin:" + userId + "202103";

        for (int i = 1; i <= 30; i++) {
            //日期能被2整除就模拟为签到，否则就未签到
            stringRedisTemplate.opsForValue().setBit(key,i,i%2 == 0? true :false );
        }
        //获取当月登录总天数
        Long size = stringRedisTemplate.execute((RedisCallback<Long>) con -> con.bitCount(key.getBytes()));
        System.out.println(size);

        for (int i = 1; i <= 30; i++) {
            //获取每天登录情况
            Boolean bit = stringRedisTemplate.opsForValue().getBit(key, i);
            System.out.println("2021/3/" + i + " " + bit);
        }
    }

使用bitmap上的位记录某一天是否登录，设计key时，使用signin:用户id:月份用来定位某个用户在某一个月份的数据。

需求2：千万级别用户，统计用户连续签到情况。

 //需求2：千万级别用户，统计用户连续签到情况。
    @Test
    void action2() {
        //key的设计 signin:day:日期
        Long userId = 1000L;
        String key = "signin:day:2021:3:";

        for (int i = 1; i <= 31; i++) {
            //日期能被2整除就模拟为签到，否则就未签到
            stringRedisTemplate.opsForValue().setBit(key+i,userId,i==1?false:true );
        }
        //计算7天的累加，放到signin:day:result中
        Long size = stringRedisTemplate.execute((RedisCallback<Long>) con
                -> con.bitOp(RedisStringCommands.BitOperation.AND,"signin:day:result".getBytes(),
                "signin:day:2021:3:1".getBytes(StandardCharsets.UTF_8),
                "signin:day:2021:3:2".getBytes(StandardCharsets.UTF_8),
                "signin:day:2021:3:3".getBytes(StandardCharsets.UTF_8),
                "signin:day:2021:3:4".getBytes(StandardCharsets.UTF_8),
                "signin:day:2021:3:5".getBytes(StandardCharsets.UTF_8),
                "signin:day:2021:3:6".getBytes(StandardCharsets.UTF_8),
                "signin:day:2021:3:7".getBytes(StandardCharsets.UTF_8)));

        System.out.println(stringRedisTemplate.opsForValue().getBit("signin:day:result",userId));
    }

使用1个bitmap存储每个用户的登录情况，每天存储一份，key设计为 signin:day:日期。通过bitop and指令计算交集之后存储到signin:day:result中，最后找到指定位置（案例中就是1000）就可以判断用户是否在这7天连续登录了。

三.统计社交网站的用户好友

需求1：查找A和B的共同好友。

//需求1：查找A和B的共同好友。
    @Test
    void action1() {
        //使用set保存好友数据
        Long userIdA = 1L;
        Long userIdB = 2L;

        BoundSetOperations<String, String> setOperationsA = stringRedisTemplate.boundSetOps("friend:" + userIdA);
        BoundSetOperations<String, String> setOperationsB = stringRedisTemplate.boundSetOps("friend:" + userIdB);

        //模拟数据
        for (int i = 100; i < 200; i++) {
            setOperationsA.add(String.valueOf(i));
            if(i % 2 ==0){
                setOperationsB.add(String.valueOf(i));
            }
        }

        //交集操作
        System.out.println(setOperationsA.intersect("friend:" + userIdB));
    }

将好友数据放入到两个set中，直接使用intersect交集操作即可。

需求2：查找A的潜在好友（BCD有但是A没有的好友）。

//需求2：查找A的潜在好友（BCD有但是A没有的好友）。
    @Test
    void action2() {
        //使用set保存好友数据
        Long userIdA = 1L;
        Long userIdB = 2L;
        Long userIdC = 2L;

        stringRedisTemplate.delete(Arrays.asList("friend:" + userIdA,"friend:" + userIdB,"friend:" + userIdC));
        BoundSetOperations<String, String> setOperationsA = stringRedisTemplate.boundSetOps("friend:" + userIdA);
        BoundSetOperations<String, String> setOperationsB = stringRedisTemplate.boundSetOps("friend:" + userIdB);
        BoundSetOperations<String, String> setOperationsC = stringRedisTemplate.boundSetOps("friend:" + userIdC);

        //模拟数据
        for (int i = 100; i < 200; i++) {
            if(i % 8 ==0){
                setOperationsA.add(String.valueOf(i));
            }
            if(i % 2 ==0){
                setOperationsB.add(String.valueOf(i));
            }
            if(i % 4 ==0){
                setOperationsC.add(String.valueOf(i));
            }
        }

        //将B和C取交集，共同好友
        setOperationsB.intersectAndStore("friend:" + userIdC,"friend:result");
        BoundSetOperations<String, String> setOperationsR = stringRedisTemplate.boundSetOps("friend:result");
        //取差集
        Set<String> diff = setOperationsR.diff("friend:" + userIdA);
        //获取数据
        System.out.println(diff);
    }

先将BC取交集获取共同好友，再将结果存入redis的set中。最后将结果集合和A的集合取差集即可。

Redis应用实战

一.统计每个页面的UV

Set

Bitmap

HyperLogLog 算法

统计性能比较

结论

二.移动端签到

三.统计社交网站的用户好友

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读