便捷的数据读写-spring batch(5)结合beetlSq

作者: mason技术记录 | 来源:发表于2019-08-25 11:12 被阅读0次

tags： springbatch

1.引言

上一篇文章《决战数据库-spring batch(4)数据库到数据库》使用Spring Batch内置的读、写组件，对数据库间的数据进行同步。相对来说，这个数据读取和数据写入是基于jdbc进行读写的(数据对象的映射需要我们自己处理，如UserRowMapper)，我们现在开发一般都使用上层一点的ORM框架，如Hibernate,MyBatis,BeetlSQL。对于Hibernate,Spring Batch有默认的HibernateCursorItemReader和HibernateItemWriter，也可以实现自行使用MyBatis和BeetlSQL。个人感觉，从易用性和学习曲线上看，BeetlSQL会更容易上手，社区也挺活跃，因此，本文介绍一下使用Spring Batch结合BeetlSQL进行数据库到数据库的数据同步。

2.开发环境

JDK: jdk1.8
Spring Boot: 2.1.4.RELEASE
Spring Batch:4.1.2.RELEASE
BeetlSQL: 1.1.77.RELEASE
开发IDE: IDEA
构建工具Maven: 3.3.9
日志组件logback:1.2.3
lombok:1.18.6

3.BeetlSQL简要说明

按官方文档，BeetlSQL是一个全功能DAO工具，同时具有Hibernate优点 & Mybatis优点功能，适用于承认以SQL为中心，同时又需求工具能自动能生成大量常用的SQL的应用。详细可参考官方文档。从最近一段时间的使用过程中，感觉从开发效率、维护性、易用性，都比较优秀。

4.使用BeetlSQL读写数据库

本示例依然是基于上一篇文章的示例功能，从源数据库中读取test_user表的数据，然后经过处理，再写入到目标数据库的test_user表中。只是不是使用Spring Batch内置的JdbcCursorItemReader和JdbcBatchItemWriter，改为使用BeetlSQL进行读写。完整示例可参考代码

4.1 引入BeetlSQL依赖

BeetlSQL提供了Spring Boot的starter来实现自动配置，在pom.xml添加以下依赖即可：

<!-- orm框架: beetlsql -->
<dependency>
    <groupId>com.ibeetl</groupId>
    <artifactId>beetl-framework-starter</artifactId>
    <version>1.1.77.RELEASE</version>
</dependency>

添加后，会添加两个依赖，分别是beetl-2.9.9，和beetlsql-2.11.2，如下图：

beetlsql

4.2 编写多数据源的dao

4.2.1 添加配置文件

由于我们是使用多数据源进行读写，关于多数据源的配置，上一篇文章已经进行了描述，此处不再说明。BeetlSQL对多数据源有较好的支持，只需要简单的配置即可。具体可参考官方文档。下面对此做简单说明。在application.properties文件中添加以下配置：

#beetlsql配置
#默认/sql，可不设置
#beetlsql.sqlPath=/sql
#dao文件的后缀
beetlsql.daoSuffix=Repository
#自动加载和查找的dao文件所在包
beetlsql.basePackage=me.mason.springbatch
#默认org.beetl.sql.core.db.MySqlStyle，可不设置
#beetlsql.dbStyle=org.beetl.sql.core.db.MySqlStyle
#多数据源dao文件所在位置，以包区分读写数据源
beetlsql.ds.datasource.basePackage=me.mason.springbatch.dao.local
beetlsql.ds.originDatasource.basePackage=me.mason.springbatch.dao.origin
beetlsql.ds.targetDatasource.basePackage=me.mason.springbatch.dao.target
beetlsql.mutiple.datasource=datasource,originDatasource,targetDatasource

说明：

beetlsql.daoSuffix表示Dao文件的后缀，BeetlSql会根据此后缀加载Dao。
beetlsql.mutiple.datasource数据源名与数据源的配置一致。

4.2.2 添加dao文件

添加上述配置后，由于使用包名来区分读写数据源的Dao，因此需要创建对应的包，分别在工程中me.mason.springbatch下创建dao.local,dao.origin，dao.target三个包，分别存放需要读取的三个数据源对应的Dao。在本示例中，仅使用源数据库和目标数据库，因此，仅需要在dao.origin中添加OriginUserRepository进行源数据读操作，在dao.target中添加TargetUserRepository进行写操作即可。（注意，由于配置中指定是使用后缀Repository，因此此处的类名需要使用它作为后缀）。如下：

OriginUserRepository.java

@Repository
public interface OriginUserRepository extends BaseMapper<User> {
    List<User> getOriginUser(Map<String,Object> params);
}

TargetUserRepository.java

@Repository
public interface TargetUserRepository extends BaseMapper<User> {
}

说明：

使用注解@Repository标注是数据读写dao
继承BaseMapper，以使用BeetlSQL内置的增删改查能力
对于OriginUserRepository，getOriginUser是自定义的数据读取操作，此操作具体实现是使用写在sql/user.md中的sql语句（sql语句在后面将说明）。

4.3 编写sql文件

根据BeetlSql的功能，开发者可以自定义sql语句进行数据库操作，而sql语句是以markdown文件的形式保存，支持beetl的语法，支持参数化语句，逻辑判断等操作，这就有点像Mybatis中的xml语句，但显示和修改会更友好。具体sql文件更详细的使用功能，读者可到官文档查阅。

本示例中，上面OriginUserRepository自定义了getOriginUser函数，以此函数名即可编写sql进行读数据（当然，由于此sql比较简单，完全可以不写到markdown文件也可以实现，此处仅做示例展示此功能而已）。如下所示：

getOriginUser
===
* 查询user数据

select * from test_user

接着就是写数据需要用到的sql，insertUser是这条语句的名称，在插入数据时会使用到：

insertUser
===
* 插入数据

insert into test_user(id,name,phone,title,email,gender,date_of_birth
    ,sys_create_time,sys_create_user,sys_update_time,sys_update_user)
values (#id#,#name#,#phone#,#title#,#email#,#gender#,#dateOfBirth#
    ,#sysCreateTime#,#sysCreateUser#,#sysUpdateTime#,#sysUpdateUser#)

由上面的sql可见，这跟我们平时写sql没有区别，其中以##包括的是参数，即实体User的字段。

4.4 编写读组件ItemReader

经过上面的配置和添加的dao类，我们已经有了读和写数据的能力。使用OriginUserRepository，可以编写Spring Batch的ItemReader。读取数据后在内存中，在read()时返回。如下所示：

@Slf4j
public class UserItemReader implements ItemReader<User> {
    protected List<User> items;

    protected Map<String,Object> params;
    @Autowired
    private OriginUserRepository originUserRepository;

    @Override
    public User read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException {
        if(Objects.isNull(items)){
            //使用beetlsql的md执行sql
            items = originUserRepository.getOriginUser(params);
            if(items.size() > 0){
                return items.remove(0);
            }
        }else{
            if (!items.isEmpty()) {
                return items.remove(0);
            }
        }
        return null;
    }

    public Map<String, Object> getParams() {
        return params;
    }

    public void setParams(Map<String, Object> params) {
        this.params = params;
    }
}

说明：

originUserRepository.getOriginUser执行的是user.md的getOriginUser查询语句。
查询后数据保存在List<User>，在read()时返回其中的数据。全部返回后会返回null，以表示结束。
BeetlSql支持使用Map来传参，本示例暂时没有使用。

4.5 编写写组件ItemWriter

读取到数据后，使用TargetUserRepository，执行上面编写的insertUser来插入数据。如下所示

public class UserItemWriter implements ItemWriter<User> {
    @Autowired
    private TargetUserRepository targetUserRepository;

    @Override
    public void write(List<? extends User> items) throws Exception {
        targetUserRepository.getSQLManager().updateBatch("user.insertUser",items);
    }
}

说明：

使用SQLManager的updateBatch批量写数据
user.insertUser中，user是markdown文件的名称，也是实体名称，insertUser是写的sql语句。

4.6 组装完整任务

新建BeetlsqlBatchConfig.java，作为Spring Batch的任务配置

4.6.1 注入读写组件

使用上面已写的Reader和Writer，使用Bean注解加入，如下：

@Bean
public ItemReader beetlsqlItemReader() {
    UserItemReader userItemReader = new UserItemReader();
    //设置参数，当前示例可不设置参数
    Map<String,Object> params = CollUtil.newHashMap();
    userItemReader.setParams(params);
    return userItemReader;
}

@Bean
public ItemWriter beetlsqlWriter() {
    return new UserItemWriter();
}

4.6.2 组装任务

使用Step和Job，实现完整的任务配置，如下：

@Bean
public Job beetlsqlJob(Step beetlsqlStep,JobExecutionListener beetlsqlListener){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return jobBuilderFactory.get(funcName)
            .listener(beetlsqlListener)
            .flow(beetlsqlStep)
            .end().build();
}
@Bean
public Step beetlsqlStep(ItemReader beetlsqlItemReader ,ItemProcessor beetlsqlProcessor
        ,ItemWriter beetlsqlWriter){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return stepBuilderFactory.get(funcName)
            .<User,User>chunk(10)
            .reader(beetlsqlItemReader)
            .processor(beetlsqlProcessor)
            .writer(beetlsqlWriter)
            .build();
}

4.7 测试

参考上一文章的Db2DbJobTest，编写BeetlsqlJobTest文件。测试前先把目标数据库中的test_user库清空，然后启动Job进行测试，结果跟Db2DbJobTest是一致的。日志输出如下：

result

在上面使用BeetlSql过程中，可见有几个好处：

不需要自己写RowMapper对数据进行映射，更简单。
sql语句写在markdown文件中，修改更灵活。
sql语句执行输出在日志中，更清晰。

5.总结

本文使用Spring Batch对数据库到数据库的示例做了一个改动，使用BeetlSQL进行多数据源的读写操作，以实现更简单、更灵活、更清晰的数据库读写。希望对想要用Spring Batch同时又想了解BeetlSql的读者有帮助。