인프런 커뮤니티 질문&답변

안녕하세요. 강의보면서 따라해보고 있는데 응용이 잘되지 않아 질문드립니다.

JdbcPagingItemReader, ItemProcessor, JdbcBatchItemWriter 를 사용하여 스텝을 구성하고 여러 스텝으로 잡 하나를 만들어서 배치를 돌리려고 합니다.

그런데 read 하는 테이블의 데이터가 실시간으로 계속 쌓인다면 read 가 끝나지 않으므로 배치가 멈추지 않고 계속 돌게 됩니다.

read 할 데이터 개수가 고정일 때는 배치가 반복되는게 어차피 read 가 끝나면 멈춰서 문제가 안됐었는데,

실시간으로 쌓이는 상황을 생각하니 모니터링 등을 고민하다가 특정 시간대에 돌리고 멈췄다가 다시 돌리는 식으로 방향을 잡았습니다.

그래서 repeatTemplate 를 사용해서 특정 개수만큼만 돌리고 잡을 완료시키고 싶습니다.

그리고 나머지는 이후에 다른 잡에서 하려고 합니다.

보여주신 예제는 processor 에서 반복 제어를 하였는데 저는 read 에서 무한 반복을 막고 싶은 것이라서 reader 에 넣어봤습니다. 그런데 테스트해봤을 때 반복 제어가 되지 않고 데이터 있는 개수만큼 다 돌고 끝나게 됩니다.

(현재 로컬 환경에서는 실시간으로 쌓이진 않지만 중간에 repeateTemplate 조건에 맞게 끊길 수 있는 개수로 테스트했습니다.)

repeatTemplate 설정을 했는데 설정이 안먹고 제대로 설정도 안된 느낌입니다..

@Configuration 파일에서 일부 코드입니다.

jdbcPagingItemReader() 에 코드를 추가했습니다.

@Configuration
@RequiredArgsConstructor
public class ReportConfig {
    private final DataSource dataSource;

    private static final int CHUNK_SIZE = 2;


    /**
     * READ TARGET
     */
    @Bean
    public JdbcPagingItemReader<RequestReportTargetDto> jdbcPagingItemReader() throws Exception {

// 여기서부터 
        RepeatTemplate repeatTemplate = new RepeatTemplate();

        repeatTemplate.setCompletionPolicy(new SimpleCompletionPolicy(3));

        repeatTemplate.iterate(new RepeatCallback() {
            @Override
            public RepeatStatus doInIteration(RepeatContext context) throws Exception {
                System.out.println("ReportConfig.doInIteration");
                return RepeatStatus.CONTINUABLE;
            }
        });
// 여기까지 추가했습니다.

        HashMap<String, Object> parameters = new HashMap<>();
        parameters.put("reqReportYn", "N");

        return new JdbcPagingItemReaderBuilder<RequestReportTargetDto>()
                .name("jdbcPagingItemReader")
                .dataSource(dataSource)
                .fetchSize(CHUNK_SIZE)
                .rowMapper(new BeanPropertyRowMapper<>(RequestReportTargetDto.class))
                .pageSize(CHUNK_SIZE)
                .queryProvider(createQueryProvider())
                .parameterValues(parameters)
                .build();
    }


    @Bean
    public PagingQueryProvider createQueryProvider() throws Exception {
        SqlPagingQueryProviderFactoryBean qp = new SqlPagingQueryProviderFactoryBean();
        qp.setDataSource(dataSource);
        qp.setSelectClause("M_ID, ....");
        qp.setFromClause("from TARGET_TEST");
        qp.setWhereClause("where REQ_REPORT_YN = :reqReportYn");

        Map<String, Order> sortKeys = new HashMap<>();
        sortKeys.put("M_ID", Order.ASCENDING);

        qp.setSortKeys(sortKeys);

        return qp.getObject();
    }




    @Bean
    public Step step(JobRepository jobRepository, PlatformTransactionManager transactionManager,
                     JdbcPagingItemReader<RequestReportTargetDto> reader) {
        return new StepBuilder("jdbcPagingStep", jobRepository)
                .<RequestReportTargetDto, List<RequestReportDto>> chunk(CHUNK_SIZE, transactionManager)
                .reader(reader)
                .processor(reportProcessor)
                .writer(jdbcBatchListItemWriter())
                .transactionManager(transactionManager)
                .allowStartIfComplete(true) // 테스트 위해서 
                .build();
    }

    @Bean
    public Step step2(JobRepository jobRepository, PlatformTransactionManager transactionManager, JdbcPagingItemReader<RequestReportTargetDto> reader) {
        return new StepBuilder("jdbcPagingStep2", jobRepository)
                .<RequestReportTargetDto, List<RequestReportDto>> chunk(CHUNK_SIZE, transactionManager)
                .reader(reader)
                .processor(orgReportProcessor)
                .writer(jdbcBatchListItemWriter2())
                .transactionManager(transactionManager)
                .allowStartIfComplete(true)// 테스트 위해서 
                .build();
    }

    @Bean
    public Job job(JobRepository jobRepository, Step step, Step step2) {
        return new JobBuilder("reportJob", jobRepository)
                .start(step)
                .next(step2)
                .build();
    }


}

reader 를 설정파일 말고 따로 클래스로 빼서 ItemWriter implements 해서 구현체로 만들어야 하나 싶은데 그러면 JdbcPagingItemReader 를 쓰기가 어려워집니다.

검색 많이 해봤는데 생각보다 참고할 수 있는 자료가 적어서 응용이 어렵습니다ㅠ

참고할만한 예제가 혹시 있을까요? 아니면 어떤 식으로 하면 좋을지 알려주시면 또 찾아보고 해보겠습니다.