인프런 커뮤니티 질문&답변

roro po님의 프로필 이미지
roro po

작성한 질문수

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

빅데이터 아키텍처의 종류와 카프카의 미래

카프카 배치 데이터 처리

작성

·

603

0

- 카프카를 공부하시면서 생긴 질문들을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

 

안녕하세요. 강의 잘 듣고 있습니다! 좋은 강의 올려주셔서 감사합니다.

 

빅데이터 아키텍쳐의 종류와 카프카의 미래 강의 9:00 전후의 카프카가 배치 데이터를 처리하기 위해 제공하는 기능에 대해서 질문이 있습니다.

  1. 슬라이드의 설명으로 이해하기에는 기존의 배치 데이터는 각 시점의 스냅샷 데이터이지만, 카프카는 변환 기록 로그를 남김으로써 기존의 배치 데이터 스냅샷을 매번 만들 필요 없이 로그로 특정 시점의 데이터를 만들 수 있다 라고 이해했습니다.

  2. 강의 내용으로는 카프카에서 배치 데이터를 가져오기 위해 기존의 배치 데이터 컨셉인 배치 데이터 스냅샷과, 변환 기록 로그 이렇게 둘 다의 정보를 사용해서 배치 데이터를 표현한다 라고 이해 했습니다.

 

1, 2번중 어떤게 더 적절하게 이해했는지 궁금합니다.

감사합니다!

답변 2

1

데브원영 DVWY님의 프로필 이미지
데브원영 DVWY
지식공유자

안녕하세요!

  • 카프카에서 다루는 레코드는 '로그' 로 운영되며 체인지 로그(changelog) 데이터를 레코드에 담는다면, 특정 시점의 데이터를 리플레이하여 만들 수 있다.

라고 보시면 좋겠습니다!

0

roro po님의 프로필 이미지
roro po
질문자

답변 감사합니다 !!

roro po님의 프로필 이미지
roro po

작성한 질문수

질문하기