美文网首页技术收藏文章
关于Vertx+Spring+Mybatis+Redis+Zoo

关于Vertx+Spring+Mybatis+Redis+Zoo

作者: NeilZhou | 来源:发表于2018-06-02 17:31 被阅读816次

咋一看,2018年已过去半年。想起去年写的一篇关于vertx集群的应用,也得到了很多朋友的阅读。也有人私下问我,说你们怎么在生产上使用的vertx,遇到过哪些问题等等。今天我将我们的升级版本及规划和思想同大家分享下。
我从2016年正式接触Vertx,那个时候看过Vertx2.x,后面出来的Vertx3.0更有亮点。我们尝试使用Vertx来改建一个小型项目。当时感觉良好,所以后面自己也开始投入时间进行研究。
在去年我们从新规划并且结合了之前项目的经验融合在一起。我提出了符合我门自己的思路设计。我们不可能完全只使用Vertx来构建项目,至少现在成本比较高。在刚开始,大家还比较接受但是到了后面,代码风格不统一,在审计和部署出现了很多问题。后期维护成本提升了,我门开始反思。
我们的小伙伴都是SSM、SSH的经验者,所以他们在写代码时,绝多数是进行复制,然后针对的修改业务逻辑。其次就是具体业务的实现用vertx比较棘手,比如同步结果,vertx需要而外的协程或者阻塞来实现,当然有人说可以使用vertx-sync,至少我没有用成功,并且和我们的所需要的场景还是不同。
项目周期性不易过长,我们也是边研究边投产,本身就带来了的不确定性和隐式风险。我们曾在尝试内部推Vertx,然后每个小团队各自使用,只要普及下Vertx的知识至于他们怎么用由他们正常发挥。最后我们看到的结果有点惨,就是每个人都使用自己的风格在构建。而Vertx本身就是简洁,所以大家也都简洁来开发项目。比如没有实体,都是json进行传递,数据校验复杂;约束性不强,代码规范得不到统一,有人高度使用配置文件,有人是代码定义;使用工具类各式各样,不能形成统一的jar规范等等.....
所以,我们后来发力,贴合我们的业务,自己封装了vertx+spring+mybatis的整合框架(再后来,我们也看到了github上有人已经整合了,很多思路是一致的),这样我们发现团队慢慢的更超长的发挥了,毕竟和SSM没有很大的区别,并且更简单。但是还是避免不了问题,就是传参映射实体、跨应用调用(RPC)等等,这个本身就是Vertx 的不足。至于为何,需要自行去了解Vertx 的原理,毕竟他是基于事件驱动型,是一种解耦式的框架或工具类。
我们基于这个架构诞生了我们的几个项目。感觉还不错,发布到生产能正常运行,并且初步的压力测试也比tomcat要高,这里偷偷窃喜下。但这个是单例,后面紧接而来的是一个集群项目。vertx自带Ignite广播室集群和hazelcast。后来我们使用的zookeeper来做集群,总体还算不错,压力测试每秒轻松能达到1000处理请求。但好景不长,有很多业务场景我们都在想如何使用vertx的特性来解决,比如说rpc的功能,我们自己也写了一套,虽然整合到测试还是不错的,结果一发布到生产,莫名的卡住各种问题(vertx是异步),后面直接使用vertx异步send 的方式,但这只适用那些不需要回执的业务。再后来我们整合redis,使用redis的pub/sub的模式。但是redis的pub/sub也是有问题的,一旦服务断开连接,那么之前的所有消息全部丢弃,这不是我们需要的,我知道有多种方式可以解决,但这不是我们今天要聊的重点。
好了,也该进入正题了。目前我们使用的是Vertx3.5的版本,又增加了很多特性,比如他可以是一个单独的webclient来使用,虽然前版本也支持,但这个版本还是更贴近httpclient的,之前我们内部还自己封装了一个版本httpclient的组件。然后官方也正是推出vertx-zookeeper组件、vertx-redis、vertx-kafka等。在前一段时间,我们重新规划和搭建了一个分布式集群的框架。这里补充一下,要善于使用vertx 的长处,如果有些功能其他组件可以解决的,那么可以整合。
主要包括:
1、整体架构图
项目是物联网架构项目,所以涉及到的方面比较多,从硬件到数据解析、数据存储、业务服务调用等方面。针对web、app及第三方开放接口,全面包含。目前这个项目还在孵化中,预计后面会逐步开源,所以这里给大家分享设计思想啊。


业务架构图.png

2、组件规划
2.1、组件架构图


组件架构图.png

2.2、我们需要服务的自动注册与发现,所以我们定制了一些特性注解;我们将API降级,直接在维护serveice函数的时候同时也维护API接口,在服务调度的时候直接利用反射+AOP调用;这里就不具体介绍了,可以看前一篇文章;当然,因为我们是整合spring的,所有对spring是依赖的。利用AOP、反射来动态注册或调用具体的实现服务,这个版本我们还提升的对参数的约束,从视图(网关)传递的参数以json往后传递,当调用具体的执行器时,进行函数参数要求进行转换,全部以实体进行通信。服务对外使用VO、持久化层使用DTO、PO,我们解决了一个痛点,那就是参数校验和实体应用;


注解代码.png
重点角色类.png
这里补充一下,为什么要这样做。
第一、让业务层的代码更清晰;

第二、让业务层的人员更关注业务,并且提升代码质量和统一进行代码规范约束;
第三、方便统一管理,包括可继续集成和发布都是规范性的;

2.3、在整个架构中,我们使用vertx定制了一个轻量级的网关,网关只负责接收请求,然后向下转发。统一的接收器;整个流程大致如下:


网关架构图.png

2.4、目前剥离的项目大致模块规划


模块规划.png
2.5、再补充一个消息组件架构图吧。在之前项目中,我们遇到一个痛点,就是消息中心。我们一直没有设计好,导致重度依赖。所以我们重新规划,重点是解耦式,对业务代码低侵入式;
我们在消息这块采用kafka集群,然后自行封装一内部调用的sdk,应用层直接依赖,直接使用对应的api即可,分为订阅方、客户端。先上个图吧!
设计图.png

2.6、部署模式
相信大家对docker有一定了解,我们使用的是容器化部署。也在搭建自动化构建发布平台,使用Docker+Git+GitLab+Maven+jenkins+Sonar构建可持续集成和发布来自动化管理,当然也包括我们的代码质量审计;


持续交付.png
写到这,基本没了,后面就是准备将代码开源的事情。写得比较简单,也希望能给大家带来思路吧。一步一步走来,的确不容易,很多问题只有经历过了才知道怎么做的更好!

相关文章

  • 关于Vertx+Spring+Mybatis+Redis+Zoo

    咋一看,2018年已过去半年。想起去年写的一篇关于vertx集群的应用,也得到了很多朋友的阅读。也有人私下问我,说...

  • 关于关于关于

    他们爱他们自己,不爱你 他们爱你是他们的母亲妻子女儿姐妹 他们不爱你 直到你死的时候,爱才产生,与遗忘同时 那也不...

  • 光明人生

    关于出生 关于成长 关于求学 关于青春期 关于恋爱 关于择业 关于婚姻 关于养生 关于家庭 关于人际 关于教子 关...

  • 「梦雅的简动力」打卡计时65天

    * 关于人生 * 关于梦想 * 关于方向 * 关于创业 * 关于投资 * 关于成败 * 关于个性 * 关于高度 *...

  • 关于

    关于两个人? 关于100步? 关于回头? 关于深情? 关于家庭? 关于孩子? 关于成长? 关于伤痛? 关于怀抱? ...

  • 2017新手妈妈年终总结

    关于购物 关于体重 关于减肥 关于纪念日 关于生活态度 关于上班 关于职场晋升加薪 关于睡眠 关于抱孩子 关于发型...

  • 2018-11-28

    关于流浪、关于随心、关于自由、关于世俗、关于规则、关于坦诚、关于真我、关于好奇心、关于对这整个世界的态度、关于整个...

  • 一首歌的时间

    认真的 想理出点思绪 关于今天关于明天 关于工作关于梦想 关于冬天关于夜晚 关于阳光关于浪花 关于木马关于窗花 关...

  • 最近的各种关于

    关于运动,关于中文阅读,关于英文听力,关于口算。 关于专注,关于目标,关于举家迁移。 关于对正确的过于执着,关于对...

  • 『关于』

    关于雨落,关于天晴; 关于入夜,关于天明; 关于齐眉,关于耳鬓; 关于缘定,关于今生。 (早安~诸君!)

网友评论

  • _闲看花开花落:我们也在使用Vertx,虽然vertx不断带来新的体验,但感觉还有很长的路要走。而且据说Spring6也已经支持异步的编码方式
    NeilZhou:是的,如果是小项目,可以用vertx,但是正规点的项目,用vertx还是比较被动。所以初创团队不建议用这个,传统的技术资料多、全、稳定

本文标题:关于Vertx+Spring+Mybatis+Redis+Zoo

本文链接:https://www.haomeiwen.com/subject/yqsrsftx.html