logo
之前写了一篇博文，简单的介绍了下如何利用Redis配合Spring搭建一个web的访问计数器，之前的内容比较初级，现在考虑对其进行扩展，新增访问者记录
- 记录当前站点的总访问人数（根据Ip或则设备号）
- 记录当前访问者在总访问人数中的排名
- 记录每个子页面的访问计数，记录站点的总访问计数
推荐博文：
I. 数据结构设计
首先根据上面的几个数据维度进行划分，首先每个站点有自己独立的数据结构，其中访问者记录和每个页面对应的访问计数，肯定是不一样的，下面分别进行说明
1. 访问记录
要求记录每个访问者的IP或者设备号，以此来计算总得访问人数，以及当前的访问者在总得访问人数中的位置
List数据结构是否可行？
- 每次新来一个访问者，需要与所有的访问者进行对比，判断是否是新的访问者，是则插入列表；不是则查出其对应的位置
如果对redis的数据结构有一点了解，会直到有一个ZSet（有序的集合）正好适合这种场景
- 确保不会插入重复的数据，每个数据对应的score就是该访问者的首次访问排序
具体的结构类似
-- ip (score)
127.0.0.1 (1)
127.0.0.2 (2)
127.0.0.3 (3)
...
2. url计数
依然沿用之前的Hash数据结构，每个应用申请一个APPKEY，作为hash结构的Key，然后field则为具体的请求域名
具体的结构类似
appKey: // appKey
blog.hhui.top: 1314 // 站点对应的总访问数
blog.hhui.top/index: 1303 // 具体的页面对应的访问数
blog.hhui.top/about: 11 // 具体的页面对应的访问数
appKey:
blog.hhui.top: 1314
blog.hhui.top/index: 1303
blog.hhui.top/about: 11
II. 实现
具体的实现其实没有什么特别需要注意的地方，简单说一下几个关键点，一个是Redis的Hash和Zset两个数据结构的访问修改方法；一个则是如何获取访问者的IP
1. 获取客户端IP
在Spring中如何获取客户端IP呢？因为我个人的服务器是走的Nginx进行反向代理，所以需要在Nginx层添加一行配置，避免将客户端IP吃掉了
在nginx.con的配置中，转发的地方添加下面的一行
location / {
proxy_set_header X-real-ip $remote_addr;
}
然后就可以在代码层，通过解析HttpServletRequest参数，获取真实IP，这段代码网上比较多，直接拿来使用（我这里是放在了一个Filter层，在这里获取服务端关心的一些参数，供整个请求链路使用）
获取客户端IP方法
/**
* 获取Ip地址
* @param request
* @return
*/
private static String getIpAdrress(HttpServletRequest request) {
String Xip = request.getHeader("X-Real-IP");
String XFor = request.getHeader("X-Forwarded-For");
if(StringUtils.isNotEmpty(XFor) && !"unKnown".equalsIgnoreCase(XFor)){
//多次反向代理后会有多个ip值，第一个ip才是真实ip
int index = XFor.indexOf(",");
if(index != -1){
return XFor.substring(0,index);
}else{
return XFor;
}
}
XFor = Xip;
if(StringUtils.isNotEmpty(XFor) && !"unKnown".equalsIgnoreCase(XFor)){
return XFor;
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("Proxy-Client-IP");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("WL-Proxy-Client-IP");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("HTTP_CLIENT_IP");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("HTTP_X_FORWARDED_FOR");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getRemoteAddr();
}
return XFor;
}
2. Redis操作
接下来就是redis数据结果的操作了，关于Spring中如何配置和简单使用RedisTemplate可以参考 《180611-Spring之RedisTemplate配置与使用》
下面简单贴一下核心的Redis操作代码, 关于Hash的访问就没啥好说的，参考上一篇博文即可
/**
* 获取redis中指定value的score
*
* @param key 唯一key
* @param value 存在redis中的实际值（计数组件中value即为客户端IP)
* @return
*/
public static Long zScore(String key, String value) {
return template.execute((RedisCallback<Long>) con -> {
Double ans = con.zScore(toBytes(key), toBytes(value));
return ans == null ? 0 : ans.longValue();
});
}
/**
* 表示新增一条记录
*
* @param key
* @param value 对应客户端ip
* @param score 对应客户端访问的排名
* @return 当set中没有记录时，返回true；否则返回false
*/
public static Boolean zAdd(String key, String value, long score) {
return template.execute((RedisCallback<Boolean>) con -> con.zAdd(toBytes(key), score, toBytes(value)));
}
/**
* 获取zset中最大的score，即在计数组件中，这个值就是总得访问人数
* @param key
* @return
*/
public static Long zMaxScore(String key) {
return template.execute((RedisCallback<Long>) con -> {
Set<RedisZSetCommands.Tuple> set = con.zRangeWithScores(toBytes(key), -1, -1);
if (CollectionUtils.isEmpty(set)) {
return 0L;
}
Double score = set.stream().findFirst().get().getScore();
return score.longValue();
});
}
主要的redis操作是上面三个方法，那么怎么调用的呢？直接看下面的逻辑即可，比较清晰
- 获取站点的总访问人数
- 尝试获取访问者的排名
- 如果没有获取到排名，表示首次访问，则需要新插入一条记录
- 获取到排名，则直接返回
public CountDTO visit(String appKey, String url) {
String visitKey = visitKey(appKey);
// 首先是获取站点的总访问人数
long visitTotalNum = QuickRedisClient.zMaxScore(visitKey);
// 获取访问者在总访问人数中的排名，如果为0，表示该用户没有访问过
long visitIndex = QuickRedisClient.zScore(visitKey, ReqInfoContext.getReqInfo().getClientIp());
if (visitIndex == 0) {
// 不存在（即用户没有访问过），则需要添加一条访问记录
visitTotalNum += 1;
visitIndex = visitTotalNum;
QuickRedisClient.zAdd(visitKey, ReqInfoContext.getReqInfo().getClientIp(), visitIndex);
}
// 构建DO对象
}
看到上面这一段逻辑的实现，如果一点疑问都没有，那我不得不怀疑是否真的看了这篇博文了，或者说就是单纯的看了而已，却没有一点的收货
重点说明，上面的实现有并发问题、并发问题、并发问题，重要的事情说三遍，至于为什么以及该如何解决，欢迎讨论
一个实际使用这个计数器的case，就是个人的博客网站了，欢迎点击查看:
- 小灰灰blog: https://blog.hhui.top/
- 小灰灰blog: https://liuyueyi.github.io/hexblog/
showcase
III. 其他
0. 相关博文
1. 一灰灰Blog： https://liuyueyi.github.io/hexblog
一灰灰的个人博客，记录所有学习和工作中的博文，欢迎大家前去逛逛
2. 声明
尽信书则不如，已上内容，纯属一家之言，因个人能力有限，难免有疏漏和错误之处，如发现bug或者有更好的建议，欢迎批评指正，不吝感激
- 微博地址: 小灰灰Blog
- QQ： 一灰灰/3302797840
3. 扫描关注
QrCode
网友评论