Spring Batch 3 - 读数据库写文件

目的：通过jdbc连接读取数据库的记录，写入到单个文件中

源数据表

• 我们还以上篇文章解析后的结果作为源数据表。

源数据源表

写入的文本格式

• 按照dateStr,userCode,time,path,userAgent 用逗号分隔作为一行

Spring Batch 代码实现

依旧三部分：ItemReader、ItemProcessor、ItemWriter

• ItemReader实现：通过JDBC连接数据库，执行sql语句，把查询出的结果集映射到实体类AccessBean中。Spring Batch3提供了这种场景下的ItemReader实现：org.springframework.batch.item.database.JdbcCursorItemReader。
• ItemProcessor实现：这里不对数据处理，直接写入文件中
• ItemWriter实现：把查询到的数据按行组织数据，逗号分隔，写入到输出文件中。Spring Batch3本身实现了写文本的ItemWriter：org.springframework.batch.item.file.FlatFileItemWriter，可以自定义数据组织和分隔符等。

我们可以看到，几乎没有任何实现代码，很多事情Spring Batch都提供了默认的实现。

Spring Batch Job配置

• Job

 <batch:job id="readDB2FileJob">
        <batch:step id="readDB2FileStep">
            <batch:tasklet>
               <batch:chunk reader="jdbcItemReader" writer="fileWriter" commit-interval="5000" ></batch:chunk>
            </batch:tasklet>
        </batch:step>
    </batch:job>

• logReader

  <!-- jdbc Reader -->
    <bean id="jdbcItemReader" class="org.springframework.batch.item.database.JdbcCursorItemReader">
       <!-- 数据源 -->
       <property name="dataSource" ref="dataSource"></property>
       <!-- 游标一次读多少行 -->
       <property name="fetchSize" value="5000"></property>
       <!-- 查询sql -->
       <property name="sql">
           <value>
                <![CDATA[
                SELECT date_str, `path`, userCode, `time`, userAgent FROM access 
                ]]>
           </value>
       </property>
       <!-- 行映射对象 -->
       <property name="rowMapper">
           <bean class="org.springframework.jdbc.core.BeanPropertyRowMapper">
               <property name="mappedClass" value="com.me.springbatch.support.AccessBean"></property>
           </bean>
       </property>
    </bean>

• fileWriter

   <!-- write to file Writer -->
    <bean id="fileWriter" class="org.springframework.batch.item.file.FlatFileItemWriter">
       <!-- 输出文件 -->
       <property name="resource" value="file:/my/out.log"></property>
       <!-- 如果目标文件已存在，是否删除 -->
       <property name="shouldDeleteIfExists" value="true"></property>
       <!-- 行策略 -->
       <property name="lineAggregator">
           <bean class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">
               <!--  逗号分隔 -->
               <property name="delimiter" value=","></property>
               <property name="fieldExtractor">
                   <bean class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">
                       <!-- 行数据（字段、顺序） -->
                       <property name="names" value="dateStr,userCode,time,path,userAgent"></property>
                   </bean>
               </property>
           </bean>
       </property>
    </bean>

FlatFileItemWriter 类有一个重要的属性就是lineAggregator,用来描述如何组织行数据的。Spring Batch提供了一个实现DelimitedLineAggregator ，在多数情况下都可以通过此类处理。

• 运行Job

App.run("readDB2FileJob");

附完整代码

https://git.oschina.net/heichong/spring-batch-demo