提出问题
网站每天有1亿的访问量，产品提出要统计每个uid的周活跃,目前是日志分析解决的，每天有20G的日志，公司有dip平台会用日志去计算，每次要计算两小时才能处理完。
分析问题
考虑了一下是否可以用redis的bitmap的方式来做一个统计周活跃的功能
先简单说下bitmap的原理：
假设有3个同学：
| 小明 1 | 小明 2 | 小明 3 |
|---|---|---|
| 男 | 女 | 女 |
如果有三间房，0是男，女是1，
| 房1 | 房2 | 房2 |
|---|---|---|
| 0 | 1 | 1 |
如果要统计现在班上有几位女生，就可以看到两个1就是两位女生
在计算机里，一个字节里有8个二进制位，即1byte=8bit
假设有7个数字，我们可以按照编号放进一段连续内存里，对应位置中存在就显示1，其它默认都显示0
比如 3，5，1，7，11，15，4，1
那对应的位置为：
byte0 0 1 0 1 0 1 0 1
byte1 0 0 0 1 0 0 0 1
很明显我们已经方便的对这些数字做了排序了，甚至还做了排重
如果我们要找7是否存在这个数组中，
只需要7/8 对应到第一个字节byte0中
7%8对应到第7位上，如果是1就存在，0就不存在。
如果两亿的数字做排序排重，我们大概要占用好几G的空间，如果用bitmap方式，最少只需要200000000/8/1024/1024 = 24M的空间就够了
接下来我们看看bitmap在redis上的应用：
假设这是我们uid的登录情况
0代表未登录，1代表登录
Monday
8987129 0
8298191 1
8892198 1
Tuesday
8987129 0
8298191 0
8892198 1
Wednesday
8987129 0
8298191 1
8892198 1
Thursday
8987129 0
8298191 0
8892198 0
Friday
8987129 0
8298191 1
8892198 1
Saturday
8987129 0
8298191 1
8892198 0
Sunday
8987129 1
8298191 1
8892198 0
用setbit方法，将这些数据录入到redis中：
setbit key offset value
设置offset对应二进制上的值，返回该位上的旧值
注意：如果offset过大，则会在中间填充0
offset最大到2^32-1，即可推出最大的字符串为512M
127.0.0.1:6379> setbit Monday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Monday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Monday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Tuesday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Tuesday 8298191 0
(integer) 0
127.0.0.1:6379> setbit Tuesday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Wednesday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Wednesday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Wednesday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Thursday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Thursday 8298191 0
(integer) 0
127.0.0.1:6379> setbit Thursday 8892198 0
(integer) 0
127.0.0.1:6379> setbit Friday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Friday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Friday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Saturday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Saturday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Saturday 8892198 0
(integer) 0
127.0.0.1:6379> setbit Sunday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Sunday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Sunday 8892198 0
(integer) 0
接下来要计算7天内有登录行为的用户，只需要将周一到周五的值做位或运算就可以了
补充下位与运算符：
按位与运算符（&）
参加运算的两个数据，按二进制位进行“与”运算。
运算规则：0&0=0; 0&1=0; 1&0=0; 1&1=1;
即：两位同时为“1”，结果才为“1”，否则为0
按位或运算符（|）
参加运算的两个对象，按二进制位进行“或”运算。
运算规则：0|0=0； 0|1=1； 1|0=1； 1|1=1；
即 ：参加运算的两个对象只要有一个为1，其值为1。
异或运算符（^）
参加运算的两个数据，按二进制位进行“异或”运算。
运算规则：0^0=0； 0^1=1； 1^0=1； 1^1=0；
即：参加运算的两个对象，如果两个相应位为“异”（值不同），则该位结果为1，否则为0。
最后计算7天内登录过的活跃用户：
127.0.0.1:6379> bitop OR result Monday Tuesday Wednesday Thursday Friday Saturday Sunday
bitop operation rs key1 [key2..]
对key1 key2做opecation并将结果保存在rs上
opecation可以是AND（与） OR（或） NOT（非） XOR（异或）
8298191 1|0|1|0|1|1|1 = 1
8892198 1|1|1|0|1|0|0 = 1
8987129 0|0|0|0|0|0|0 = 0
这里计算的结果假设3个uid都是连续的话就是 110，其实真实的存储位置是
...1.....1....0......
也就是本周有两个活跃用户登录过。
就这样，一个上亿访问量的日志统计，在redis的bitmap方式轻松解决。
网友评论