目的:通过jdbc连接读取数据库的记录,写入到单个文件中
源数据表
- 我们还以上篇文章解析后的结果作为源数据表。
写入的文本格式
- 按照dateStr,userCode,time,path,userAgent 用逗号分隔作为一行
Spring Batch 代码实现
依旧三部分:ItemReader、ItemProcessor、ItemWriter
-
ItemReader实现:通过JDBC连接数据库,执行sql语句,把查询出的结果集映射到实体类
AccessBean
中。Spring Batch3提供了这种场景下的ItemReader实现:org.springframework.batch.item.database.JdbcCursorItemReader
。 - ItemProcessor实现:这里不对数据处理,直接写入文件中
-
ItemWriter实现:把查询到的数据按行组织数据,逗号分隔,写入到输出文件中。Spring Batch3本身实现了写文本的ItemWriter:
org.springframework.batch.item.file.FlatFileItemWriter
,可以自定义数据组织和分隔符等。
我们可以看到,几乎没有任何实现代码,很多事情Spring Batch都提供了默认的实现。
Spring Batch Job配置
- Job
<batch:job id="readDB2FileJob">
<batch:step id="readDB2FileStep">
<batch:tasklet>
<batch:chunk reader="jdbcItemReader" writer="fileWriter" commit-interval="5000" ></batch:chunk>
</batch:tasklet>
</batch:step>
</batch:job>
- logReader
<!-- jdbc Reader -->
<bean id="jdbcItemReader" class="org.springframework.batch.item.database.JdbcCursorItemReader">
<!-- 数据源 -->
<property name="dataSource" ref="dataSource"></property>
<!-- 游标一次读多少行 -->
<property name="fetchSize" value="5000"></property>
<!-- 查询sql -->
<property name="sql">
<value>
<![CDATA[
SELECT date_str, `path`, userCode, `time`, userAgent FROM access
]]>
</value>
</property>
<!-- 行映射对象 -->
<property name="rowMapper">
<bean class="org.springframework.jdbc.core.BeanPropertyRowMapper">
<property name="mappedClass" value="com.me.springbatch.support.AccessBean"></property>
</bean>
</property>
</bean>
- fileWriter
<!-- write to file Writer -->
<bean id="fileWriter" class="org.springframework.batch.item.file.FlatFileItemWriter">
<!-- 输出文件 -->
<property name="resource" value="file:/my/out.log"></property>
<!-- 如果目标文件已存在,是否删除 -->
<property name="shouldDeleteIfExists" value="true"></property>
<!-- 行策略 -->
<property name="lineAggregator">
<bean class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">
<!-- 逗号分隔 -->
<property name="delimiter" value=","></property>
<property name="fieldExtractor">
<bean class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">
<!-- 行数据(字段、顺序) -->
<property name="names" value="dateStr,userCode,time,path,userAgent"></property>
</bean>
</property>
</bean>
</property>
</bean>
FlatFileItemWriter
类有一个重要的属性就是lineAggregator
,用来描述如何组织行数据的。Spring Batch提供了一个实现DelimitedLineAggregator
,在多数情况下都可以通过此类处理。
- 运行Job
App.run("readDB2FileJob");