点击蓝字 关注我们
一
前言
数据同步平台是在ABAP中开发的一个数据同步工具,类似于LTRC,通过配置实现任意两个数据库的数据同步(ABAP需要配置相关的外部数据库连接).
数据同步平台的底层通过调用ADBC类实现远程数据库的读取,写入.
本文主要介绍数据平台的并发执行改进
二
关于并发执行
并发执行指把要处理的数据分成多份,调用系统多个进程同时执行.
并发执行原理
详见连接无峰，公众号：ABAP 技巧与实战ABAP基础知识 并发执行(一 概念及相关知识)
三
数据同步平台的并发执行改进
基于并发执行的原理, 需要对数据同步平台执行如下改造
-
分解数据
-
封装RFC函数
-
继承并发类
-
改造主程序
01
分解数据
数据同步同步平台按照配置条目分解数据, ZTSYNC_C1中的每个配置条目就是一个最小执行单元.
针对大表处理的特例: 可以通过分组字段(图一)把一个配置行虚拟拆解成多个配置行. 这些虚拟的配置行也是一个最小执行单元
数据同步平台的大表处理
详见链接无峰，公众号：ABAP 技巧与实战SAP工具箱 数据同步平台(四 大表处理改进)
图一
分组字段
分组字段用于大数据量同步时,对源表数据通过指定的字段分组(请不要使用数量字段)
分组字段允许维护多个字段,通过逗号分隔. 示例: BUKRS,WERKS 表示通过字段 BUKRS 和 WERKS分组
处理方式
10. 使用实例字段.先构造统计查询 SELECT BUKRS,WERKS,COUNT( * ) FROM <表> GROUP BY BUKRS,WERKS
比如获取了
BUKRS WERKS COUNT
1000 1001 10
1000 1002 11
1001 2001 20
20. 把获取的每条记录构造成一个主表过滤条件 BUKRS = '1000' AND WERKS = '1001' . 通过不同的过滤条件把配置拆分成3个部分.
30. 这样每个部分的配置是这个表的子集合.
40. 这些虚拟的配置不会保存下来. 每次执行时自动划分.
每次执行时,如果存在分组字段, 则自动动态的构造这些配置,把一份数据传输拆分成多份.
如果参与分组的字段是日期字段,可以通过补充
-Y 表示使用年份
-YM 表示使用年加月分组
-M 表示使用月份分组
-D 按天参与分组
实例: DATUM-Y,BUKRS 表示使用DATUM 字段获取年份与公司代码分组
DATUM-YM 表示使用年+月份分组
DATUM-M 表示使用月份分组
02
封装RFC函数
把同步数据的主要功能封装在函数 Z_BC_SYNC_ARFC 中. 以便主程序调用的并发类通过ARFC的方式调用.
图二
03
继承并发类
继承并发类ZCL_PARA_ARFC_CALL 创建新的类
ZCL_PARA_ARFC_CALL_SYNC
重定义方法
-
CALL_FUNC 调用函数(子类需要重写该方法中的函数调用部分,复制父类代码调整部分内容)
-
CALLBACK 回调方法(子类需要重写该方法中的函数返回部分,复制父类代码调整部分内容)
04
改造主程序
基于并发类ZCL_PARA_ARFC_CALL改造.
详细过程详见链接无峰，公众号：ABAP 技巧与实战SAP工具箱 并发执行(二 封装类)
四
通过并发快速完成大表同步
对于数据量较大的表的同步,可以按照如下步骤处理
01
配置大表分组
为大表同步配置分组字段,启用的分组字段尽量能够均匀的把数据拆分成若干等分.
图三
02
并发执行
如图四. 启用20个进程并发处理大表. 大概10秒钟后, 可以处理完成. 如图五 可以看出总共处理了 210万条记录. 加总的耗时 206秒 因为这个总计时间是 20个进程的执行时间汇总. 理论实际执行时间= 206/20 = 10 秒 大致等同于实际耗时.
图四
图五
五
总结
对数据同步平台的并发执行改进使用了之前封装的并发执行类 ZCL_PARA_ARFC_CALL. 简单改造程序后,测试直接通过. 进一步验证了并发执行类的完整性. 后续对耗时比较长的程序都可以使用这个类进行并发改造.
感兴趣的读者可以在链接文章的末尾找到并发类及测试程序的获取方式
链接文章无峰，公众号：ABAP 技巧与实战SAP工具箱 并发执行(二 封装类)
THE
END
网友评论