인프런 커뮤니티 질문&답변

김나다님의 프로필 이미지
김나다

작성한 질문수

스프링 배치

DB - JpaCursorItemReader

커서 기반 질문입니다.

작성

·

244

0

이전에 커서 기반 설명하실 때 읽어 오는 모든 데이터를 메모리에 할당 한다고 했습니다.

이번 jpa 커서 기반은 open시 다 가져오므로 모든 데이터가 메모리에 할당되는 것이 이해됩니다.

반면 Jdbc 커서 기반에선 설정한 청크 단위로 read, write 수행하는 걸로 아는데, 모든 데이터가 메모리에 할당되는 것이 맞나요?? (맞다면 비효율적인 설계같습니다)

 

 

 

답변 1

0

정수원님의 프로필 이미지
정수원
지식공유자

일반적으로 커서 방식은 DB 로 부터 데이터를 하나씩 하나씩 커서를 옮기면서 가지고 오는 방식입니다.

즉 스트리밍 방식이라 할 있습니다.

그리고 JDBC 에서 하나씩 가지고 온 데이터를 객체로 매핑하는 과정을 거치게 됩니다.

만약 쿼리에서 1000개의 데이터를 커서 방식으로 가지고 온다면 1000개의 데이터를 모두 객체로 매핑하는 과정이 이루어집니다. 이 의미로 본다면 모든 데이터가 메모리에 로드된다고 이해할 수 있습니다.

그렇지만 김나다님께서 말씀하신 것처럼 스프링 배치에서 청크단위로 끊어서 트랜잭션이 이루어지기 때문에 1000 개의 데이터라 할지라도 청크사이즈만큼 메모리에서 처리된다면 성능이나 자원의 사용을 효율적으로 이용하게 됩니다.
즉 스프링 배치에서 청크 개념으로 설계를 한 것이라 볼 수 있습니다.

강의에서 설명한 부분은 스프링 배치의 청크 개념을 떠나 일반적인 커서기반의 메모리 사용에 대한 설명을 의미한다고 보시면 됩니다.

김나다님의 프로필 이미지
김나다

작성한 질문수

질문하기