DView是一款网管系统，基于Spring Boot开发，Maven构建，主要包含5个模块：
- Probe：与网络设备交互的服务，执行具体的网络管理指令，如：更新网络设备软件、发现网络中的设备、监视网络设备等等
- CoreServer：负责发送相关的网管指令到Probe，并处理Probe返回的相关数据，数据存储、查询等任务
- DataServer：数据库服务，为CoreServer提供数据接口，使用MongoDB作为持久化数据库，Redis作为缓存数据库
- WebServer：用户操作界面，用户进行的各种操作将会发送给CoreServe
- Common：公共的数据结构、方法等
通过 java -jar dataServer-0.0.1-SNAPSHOT.jar.jar --spring.config.location=application.properties外部化配置不生效？
我们使用Docker部署Probe、CoreServer、DataServer、WebSiteServer，考虑到部署的时候需要根据具体情况修改配置文件，所有配置文件不能放在classpath中，就将配置文件copy一份放在和JAR同一级的目录下，并在Docker中通过java -jar dataServer-0.0.1-SNAPSHOT.jar.jar --spring.config.location=application.properties来指定配置文件的路径，我们的初衷是利用Spring Boot加载配置文件的优先级机制，通过显示指定配置文件，从而实现配置的外部化，但是，当通过上面那种方式启动时发现程序运行的时候始终使用的是classpath下的application.properties，而不是用我们显示指定的spring.config.location=application.properties文件
难道Spring Boot加载的配置文件的优先级不是：当前目录下的/config子目录>当前目录>classpath下的/config包>classpath根路径？
等等，先来看看DataServer中配置文件的使用方式，如下：
application-dev.properties
application-prod.properties
application.properties
为了应对多环境，我们使用了Profiles，在application.properties指定内容如下：
spring.profiles.active=prod
我们错误的认为在启动的时候指定了配置文件的路径，Spring Boot就会加载并使用这个配置文件，而忽略其它存在的配置文件
后来通过查阅资料和阅读源码，发现spring.config.location=application.properties仅仅是为Spring Boot添加了额外的属性文件搜索路径，当classpath路径下存application.properties文件时，无论如何，Spring Boot都会先加载该配置文件，如果其中指定了profiles，之后Spring Boot会加载profiles对应的配置文件，我们在application.properties指定了spring.profiles.active=prod，所有Spring Boot会查找名为application-prod.properties的配置文件，但是因为我们在spring.config.location中给定的值是application.properties，所以对于Spring Boot而言，application-prod.properties配置文件只存在于classpath下，故它每次加载并使用的就是classpath下的application-prod.properties，所有，是我们在spring.config.location给定的名字错了，修改为spring.config.location=application-prod.properties，即可（注意：放在与JAR同级目录下的属性配置文件名也要改成application-prod.properties）
使用RateLimiter实现限流出现的问题
在高并发系统中一般会采用3种方式来保护系统：
1.缓存：可以提升系统的访问速度和增大系统处理容量
2.降级：当服务出现问题或者影响到系统的核心流程时，需要暂时屏蔽掉相关服务
3.限流：通过限制并发访问速率，当达到限制速率时就采取拒绝服务、排队或降级等策略
RateLimiter是Google开源工具包Guava提供的一个限流工具类，基于令牌桶算法
在DataServer中，使用RateLimiter实现了简单的对RESTful API访问限速机制
POM文件中加入如下依赖
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>19.0</version>
</dependency>
考虑到所有的RESTful API访问都要进行限流，所以基于Filter实现，在Filter中实现限流的逻辑，因为所有请求都要经过Filter，代码很简单
@Component
public class APICallRateLimiter implements Filter {
/**
* 限流大小
*/
@Value("${api.restful.rate.limit}")
private double rateLimit;
/**
* 等待时间
*/
@Value("${api.restful.wait.time}")
private long waitTime;
public void setWaitTime(long waitTime) {
this.waitTime = waitTime;
}
@Override
public void destroy() {
}
@Override
public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
throws IOException, ServletException {
//使用限制，允许的并发请求
RateLimiter rateLimiter = RateLimiter.create(this.rateLimit);
//阻塞式
//rateLimiter.acquire();
//非阻塞式，允许等待的时间
if (rateLimiter.tryAcquire(this.waitTime, TimeUnit.MILLISECONDS)) {
chain.doFilter(request, response);
}
}
@Override
public void init(FilterConfig config) throws ServletException {
}
}
注册我们上面自定义的APICallRateLimiter到Spring中
@Configuration
public class APIConfig {
/**
* 限制的URL
*/
@Value("${api.restful.limit.url}")
private String limitURL;
/**
* Description: 配置过滤器到Spring容器<br>
*
* @author GC<br>
* @return <br>
*/
@Bean
public FilterRegistrationBean<APICallRateLimiter> apiFilter() {
FilterRegistrationBean<APICallRateLimiter> registrationBean = new FilterRegistrationBean<APICallRateLimiter>();
registrationBean.setFilter(new APICallRateLimiter());
List<String> urls = new ArrayList<String>();
urls.add(this.limitURL);
registrationBean.setUrlPatterns(urls);
return registrationBean;
}
}
主要碰到了如下几个问题：
1.APICallRateLimiter类中不能通过@Value方式获取配置文件中的api.restful.rate.limit、api.restful.wait.time等值
2.RateLimiter并没有生效，没有起到限流的作用
第1个问题是因为默认情况下Filter是不被Spring自动管理的，所以获取不到属性配置文件中的值，为了能够获取属性配置文件中的值，可以将我们自定义的Filter交由Spring管理，很简单，定义一个创建自定义Filter的方法，然后在该方法上添加@Bean
第2个问题算是实现逻辑上的问题，因为每次请求都会触发doFilter，所以RateLimiter每次也会被重新创建，对于每一次请求而言都是使用的不同的RateLimiter，所以需要将RateLimiter变成声明一次，多次使用
最终修改代码如下：
@Component
public class APICallRateFilter implements Filter {
/**
* 等待时间
*/
private long waitTime;
/**
* RateLimiter
*/
@Autowired
private RateLimiter rateLimiter;
public void setWaitTime(long waitTime) {
this.waitTime = waitTime;
}
@Override
public void destroy() {
}
@Override
public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
throws IOException, ServletException {
//使用限制，允许的并发请求
//阻塞式
//rateLimiter.acquire();
//非阻塞式，允许等待的时间
if (this.rateLimiter.tryAcquire(this.waitTime, TimeUnit.MILLISECONDS)) {
chain.doFilter(request, response);
}
}
@Override
public void init(FilterConfig config) throws ServletException {
}
}
@Configuration
public class WebConfig {
/**
* 限流大小
*/
@Value("${api.restful.rate.limit}")
private double rateLimit;
/**
* 等待时间
*/
@Value("${api.restful.wait.time}")
private long waitTime;
/**
* 限制的URL
*/
@Value("${api.restful.limit.url}")
private String limitURL;
/**
* Description: 创建APIFilter<br>
*
* @author GC <br>
* @return APIFilter <br>
*/
@Bean
public APICallRateFilter createAPIFilter() {
APICallRateFilter apiFilter = new APICallRateFilter();
apiFilter.setWaitTime(waitTime);
return apiFilter;
}
/**
* Description: 创建RateLimiter<br>
*
* @author GC<br>
* @return RateLimiter<br>
*/
@Bean
public RateLimiter createRateLimiter() {
RateLimiter rateLimiter = RateLimiter.create(this.rateLimit);
return rateLimiter;
}
/**
* Description: 配置过滤器到Spring容器<br>
*
* @author GC<br>
* @return <br>
*/
@Bean
public FilterRegistrationBean<APICallRateFilter> apiFilter() {
FilterRegistrationBean<APICallRateFilter> registrationBean = new FilterRegistrationBean<APICallRateFilter>();
registrationBean.setFilter(createAPIFilter());
List<String> urls = new ArrayList<String>();
urls.add(this.limitURL);
registrationBean.setUrlPatterns(urls);
return registrationBean;
}
}
使用Apache开源的压力测试工具JMeter进行测试，设置1s启动500个线程模拟500/s的并发请求，其中RateLimiter的相关参数如下，测试结果如下图所示
#Current limiting setting
api.restful.limit.url=/api/db/*
api.restful.rate.limit=100
api.restful.wait.time=5000
JMeter测试结果
可以看到整个测试结果表明，对于500个并发请求，通过使用RateLimiter控制后，系统处理完500个请求总共耗时4s
网友评论