2018-08-15 实战回顾：苏宁金融营销系统的重构之路

https://mp.weixin.qq.com/s/xy6RdpAQfuC-bLrOy4_5Bw

实战回顾：苏宁金融营销系统的重构之路

王清平，王海民 [聊聊架构](javascript:void(0);) 2 days ago

image

苏宁集团业务涉猎非常广，主要包括：苏宁易购，苏宁金融，苏宁体育，苏宁文创，苏宁置业，苏宁门店等业务领域。本文所阐述的是从 2015 年至今，苏宁金融营销系统的发展历程。苏宁金融营销系统不仅支撑了苏宁金融营销业务，也支撑了苏宁易购，苏宁体育，苏宁门店等部分营销业务。

一切源头：业务发展

2015 年至今，为了适应苏宁集团的发展，苏宁金融营销业务方陆续提出了很多目标。

可以总结为五大功能目标：

• 建立营销活动全流程的闭环管控。

• 现有的满减，立减，返券等促销形式远不够，支持更多的营销形式。

• 实现营销活动数据可视化。

• 实现从活动申请、预算、结算、到效果评估的自动化。

• 与苏宁易购，苏宁体育，苏宁门店等进行深度配合。

为了适应业务的发展，解决业务的需求，我们团队开启了苏宁金融营销系统重构之路。

混沌时代：苏宁金融营销系统架构 V1.0

2015 年，系统架构 V1.0 时代，苏宁金融营销系统包括：促销服务、电子券服务、任务服务。

促销服务：提供促销活动查询、扣减、管理、规则处理、活动配置等功能。

电子券服务：提供电子券管理、查询、使用、退券、规则处理、活动配置等功能。

任务服务：提供判断用户是否满足任务的规则，且事后发放营销福利的功能。

经过梳理上述系统的上下文，应用架构，核心功能。针对架构方面分析出如下问题：

1. 职责不清晰。

当时系统架构，电子券服务与促销服务，互相调用，两者的上下游系统基本一致。其实电子券服务和促销服务都是一种营销“实体”，它们只需要具备“实体”管理的基本功能，而且相对独立，各自为政。

2. 缺乏统一的活动管理。

当时系统架构，电子券服务和促销服务都包含活动管理和配置，并且分散管理。

这种情况下，无法满足活动全流程闭环管控，活动申请、预算控制等需求。

3. 缺乏营销数据分析。

当时系统架构，所有的营销行为数据都未记录，或者是分散记录。

这种情况下，无法满足营销数据可视化，活动效果数据分析等需求。

规则引擎引发的“血案”。

规则引擎及规则资格校验是一个计算资源消耗非常大的功能。营销前台、促销服务、电子券、任务服务都包含此功能。随着活动形式的持续增长，消耗的计算资源也持续上升。多个系统同时申请资源，导致资源的浪费。尤其是 818、1111 大促期间。资源申请需要与资源管理部进行博弈，有时会引发‘血案’。

大刀阔斧：苏宁金融营销系统架构 V2.0对症下药

2015 年至今，针对系统架构问题，系统不断的迭代，我们采用了很多针对性的解决方法。

1. 分工明确化。

电子券服务和促销服务作为一种营销“实体”，它们只需要具备“实体”管理的基本功能，而且相对独立。在它们的上层抽出一个统一营销服务，统一的对外服务。

2. 建设统一活动中心。

建设统一活动中心，包括：营销活动管理、营销活动审批、预算管控、促销状态管理、促销结算等。满足活动全流程闭环管控，活动申请、预算控制等需求。

3. 建设营销数据中心。

建设营销数据中心，包括：营销行为数据都采集，存储，分析，报表。满足营销数据可视化，活动效果数据分析等需求。

4. 拆分出规则引擎。

独立的规则引擎系统，承载上游所有促销形式的规则计算，节省资源。

整体“药方”

现在，苏宁金融营销系统架构 V2.0 时代，总体架构图如下，苏宁金融营销系统以整体的形式一致对外服务，不再是“单干”。

image

图 1：整体系统架构 V2.0

核心系统包括：营销统一服务、促销服务、电子券服务、任务服务、商品详情页促销前置服务、营销规则引擎、营销规则资格校验、营销活动中心、营销数据中心。

营销统一服务：促销查询、扣减；电子券查询、使用、退券等统一对外服务。

促销服务：提供促销活动查询、扣减等功能。

电子券服务：提供电子券管理、查询、使用、退券等功能。

任务服务：提供判断用户是否满足任务的规则，且事后发放营销福利的功能。

商品详情页促销前置服务：应对流量较高的商品详情页、搜索等页面提供的促销查询服务。

营销规则引擎：提供促销、电子券、任务等规则引擎处理服务

营销规则资格校验：提供促销、电子券、任务等规则资格校验服务

营销活动中心：包括营销活动管理、营销活动审批、预算管控、促销状态管理、促销结算、规则分发、促销活动下发。

部分系统上下文如下：

image

图 2：统一营销服务系统上下文 V2.0

image

图 3: 任务服务系统上下文 V2.0

image

图 4: 商品详情页促销前置服务系统上下文 V2.0

各个突破：解决问题的方法论

自苏宁金融营销系统建立以来，尤其是 2015 年开始至今，业务迅猛发展，团队在实际系统运行过程中，遇到了不少麻烦，但我们的小伙伴坚忍不拔，各个突破，让系统稳定的度过每个大促节点。

1. 用户流量上升，活动种类增加，导致规则引擎与资格校验性能下降

2015 年，同一时间同时生效的营销活动已经接近 300 个。由于苏宁集团业务复杂，涉及线上，线下。因此，业务的活动种类诉求会越来越多。另一方面，苏宁金融与苏宁易购合作之后，用户访问量爆发性增长，业务及产品层面上，越来越重视用户体验。

2015 年，苏宁金融营销系统架构 V1.0 时代，未对营销场景做细致的区分，导致每次匹配相关规则是全量匹配，全量匹配结束后的资格校验也是全量校验，导致单人次请求后，系统过滤规则数据量较大，并且校验次数增多，特别是大促中活动增加的情况，单次用户请求，规则校验平均需要执行大约 1000 次以上方能匹配到用户实际能够享受的营销活动信息。 image

图 5：营销活动规则校验流程 V1.0

另外，规则引擎和资格校验服务未独立，促销服务、电子券服务、任务服务只能不断通过横向扩容，提高系统并发能力。显然这样做，一方面资源浪费，另一方面当活动种类增加后，单机的计算耗时上升，横向扩容能够提升的并发能力有限。

现在，苏宁金融营销系统架构 V2.0 时代，统一活动中心配置营销活动，且区分实时营销、事后营销（任务），同时区分线上活动、线下活动、全渠道活动。规则服务在接收营销活动配置后根据相关配置来生成不同的规则文件，以此减少规则匹配中的数据量问题，并且根据不同类型和渠道分开存储资格校验数据。统一营销服务和任务服务统一对外服务，请求数据区分系统、及区分线上、线下活动，降低规则匹配和资格校验的复杂度。

当然在系统架构层面上，还有规则服务独立。规则服务的资源扩容，完全根据规则的性能需求。

image

图 6：营销活动规则校验流程 V2.0

2. 活动总数的校验存在数据热点问题

2016 年，苏宁金融营销系统架构 V1.0 时代，有些活动允许所有会员参与，但有总次数、金额限制。这种类型的活动，每次用户请求必须校验，为了避免数据不一致性，总次数、金额需要集中存储，根据 key= 活动 ID 存储到某台缓存设备，一旦活动访问流量比较大，那么就会导致缓存热点问题。还有些配置了月次数、金额；周次数、金额；日次数、金额的活动，均会出现缓存热点问题。

现在，苏宁金融营销系统架构 V2.0 时代，缓存设备申请一主两从多组方式，并且设置 slave 参与读模式减少读取热点，而且通过类型及渠道的缓存分组，提高系统整体的缓存服务能力。

image

图 7：数据热点解决方案 V2.0

3. 面向会员的 6 个唯一资格校验问题

2016 年，苏宁金融营销系统架构 V1.0 时代，参与营销活动的会员的唯一校验，活动参与次数限定到个人。手机号、帐号、设备、身份证、银行卡、银行绑定手机号。

针对此种校验，单次请求数据 6 个唯一条件都需要一一进行判断，这样就对同一个活动增加了跟缓存交互次数。活动越多、应用跟缓存交互次数越多，耗时就越长，系统性能必然降低。同时为了保证相关唯一校验的可靠性，系统在处理中还对唯一数据入库处理，增加了系统负担。

现在，系统架构 V2.0 时代，通过合并请求，同一个活动相关的唯一性查询进行合并，减少跟缓存的请求次数，且应用的缓存采用持久化策略。

4. 活动存储数据已经约 1 亿

2017 年，苏宁金融营销系统架构 V1.0 时代，做了分表处理，由于营销活动较多，用户使用较多。促销活动虽然做了历史数据规整处理，但仍然存在单表数据量过大问题，导致对表操作产出性能瓶颈；尤其是撤销支付功能。撤销支付功能为了能取消用户占用资格，还需要对用户占用的资格数据进行回退，那么撤销操作会涉及历史表，而历史表数据量非常大，已经约 1 亿，因此影响到整体的性能。

现在，苏宁金融营销系统架构 V2.0 时代，活动业务数据进行业务分库分表操作（大约分为 10 个库，约 2000 张表），通过这样的分配减少单表数据量，提高数据库并发处理能力。

image

图 8：数据存储分片方案 V2.0

底盘扎实：完善的基础设施

2015 年至今，苏宁金融营销系统重构，居于微服务架构思路。对于微服务架构，有人认为是银弹，有人认为是焦油坑。

认为是焦油坑的人，一般都陷入微服务架构的几个坑，第一，服务数量太多，团结效率下降；第二，调用链路太长，性能下降；第三，调用链太长，问题定位困难；第四，没有自动化支持，无法快速交付。总之，基础设施不健全。

幸运的是，对于苏宁金融团队来说，微服务架构被认为是银弹。这得归功于苏宁金融研发团队小伙伴们，提供了完整的基础设施，公共组件，基础服务，中间件；解决了微服务的坑。

简单介绍下苏宁具备的微服务基础设施：

• 自动化测试：蛙测

• 自动化部署（持续交付）：苏宁开放云

• 配置中心：SCM

• 接口框架: 魔客平台

• API 网关：金融一站式网关

• 服务发现、服务路由、服务容错、服务调用：RSF

• 服务监控：穆加、紫金大盘

• 服务跟踪：穆加

• 服务安全：金融开放平台

展望未来

2017 年 -2018 年初苏宁提出了数据驱动经营战略。苏宁金融营销系统也沿着这个思路发展，规划系统的发展方向，未来规划包含：营销流程全闭环，营销过程实时数据，智能报表，营销数据挖掘，营销活动推荐，营销活动预算自控。

image

图 9 展望未来

作者介绍

王清平，苏宁金融研发中心资深架构师，精通微服务架构模式，熟悉 Java 领域技术架构。在广告、营销、电商领域的技术研发、架构设计等方面拥有多年实战经验，擅长提升系统的高可用，高性能，扩展性等能力。现在主要负责苏宁金融会员及互联网研发中心的应用架构与技术架构工作。

王海民，苏宁金融研发中心高级技术经理，主要负责苏宁金融会员及互联网研发中心的营销部门工作。具有营销、电商、支付、金融等相关领域 10 年以上工作经历；擅长互联网产品服务端应用技术架构。

---

公司业务的增长往往是带来技术挑战的第一步，大量的数据让人慢慢难以招架，很多公司选择搭建自己的大数据处理平台，或者向新的数据平台 / 框架迁移，无论在技术选型、搭建、系统迁移还是优化方面，都会遇到或多或少的困扰和问题，在这方面富有经验的技术团队是怎么克服的？

Pravega（Dell EMC 流平台与实时分析）、Apache Kafka、DStream3（百度新一代流式计算系统）等实践请点击「阅读原文」查收。