소개
#Kafka #Streaming #DataEngineer
- 카카오 데이터 엔지니어(전: SK플래닛)
- 저서
- 아파치 카프카 애플리케이션 프로그래밍 with 자바
- 예스24: https://bit.ly/3uFmhpF
- 교보문고: https://bit.ly/39Pk0Ak
- 알라딘: https://bit.ly/3a3Xa7T
- 실시간 데이터 파이프라인 아키텍처
- 예스24: https://bit.ly/3JjY96j
- 교보문고: http://bit.ly/3WEcgGJ
- 알라딘: https://bit.ly/3Hcbwmz
- 아파치 카프카 애플리케이션 프로그래밍 with 자바
강의
전체2로드맵
전체1수강평
- 빠르게 살펴 볼수 있어 좋네요!
Hyeong-su Mun
2024.06.02
0
- 카프카 기초 설명을 들을 수 있어 좋았습니다.
jgw8647
2024.05.31
0
- 카프카의 개념과 핵심 요소에 대해서 간결하게 설명해주셔서 좋았습니다! 감사합니다.
dhxofla123
2024.05.23
0
게시글
질문&답변
2024.06.02
kafka 멀티 파티션 관련해 질문드립니다.
안녕하세요. 파티션을 여러개 만들더라도 파티션 내에서만 순서 보장이 가능하지, 서로 다른 파티션에 저장된 데이터에 대해서는 순서를 보장할 수 없습니다. 즉, 병렬데이터 처리와 순서 보장을 함께 만족하기란 쉽지 않은데요. 이를 보장할 수 있는 가장 현실적인 방법은 윈도우 처리 방법입니다. 윈도우 처리는 기본적으로 윈도우가 끝날 때를 기준으로 해당 시간 범위의 데이터를 모아 처리하는 것입니다. 그러므로 해당 윈도우가 끝날 때 시간 범위내에 데이터에 대해 정렬을 수행하는 방식으로 전체 데이터에 대해 정렬을 수행할 수 있습니다. 다만, 이 방식은 윈도우시간만큼 기다려야 하므로 전체 프로세스 상에 지연이 발생할 수도 있다는 점을 기억해야 할 것 입니다.
- 0
- 2
- 43
질문&답변
2024.06.02
스트림즈 DSL interval 기능
안녕하세요. 프로세서API에서 지원하는 인터벌 기능과 스트림즈DSL의 윈도우 기능은 엄연히 다른기능입니다. 윈도우라는 것은 특정 윈도우 범위 내에 들어간 이벤트 데이터에 대해 묶어 처리하는 stateful한 데이터 처리를 뜻합니다. 즉, 이벤트 데이터가 윈도우 처리 시간에 비해 늦게 들어오더라도 해당 데이터를 해당 이벤트가 발생한 시간을 기준으로 윈도우에 포함하여 계산을 하는 것이죠. 게다가 윈도우 기능은 윈도우 계산 방법에 따라 세션, 텀블링, 슬라이딩 등 다양한 윈도우 기능으로 사용하실 수 있습니다. 반면 프로세서API의 인터벌 기능은 약간 다른데요. 이 기능을 통해 윈도우 처리와 유사하게는 할 수 있지만 특정 프로세싱 시간(서버 시간)을 기준으로 처리를 하는 것이므로 '시간처리'에 대한 부분이 다르다고 볼 수 있습니다.
- 0
- 2
- 46
질문&답변
2024.05.15
직렬화, 역직렬화 관련
안녕하세요. 스프링 프레임워크에 대해 문의주신내용 확인했습니다. 스프링 카프카는 이번 강의에서 다루지 않기 때문에 답변이 어려운점 양해부탁드립니다. 다만, 일반적인 컨슈머/프로듀서 사용 입장에서 말씀드리자면 실무의 사용형태는 요구조건에 따라 다르다고 말씀드릴 수 있습니다. 만약 팀간 느슨한 데이터 연결을 원할 때는 json으로 데이터를 보내고 받는 쪽에서 DTO없이 개별 필드에 대해 파싱하는 형태로 사용합니다. 개인적으로도 JSON 데이터를 주고 받고 받는 쪽에서 오류처리 혹은 분기처리를 통해 데이터를 연동하도록 설정하는 편입니다.
- 0
- 2
- 91
질문&답변
2024.04.19
KStreamJoinKTable 실행시 에러
안녕하세요! 상기 에러는 맥북에서 실행하실 때 발생할 수 있는 호환성 에러 이슈인것으로 보입니다. openJDK 1.8 버전으로 재설치 후 실행해보시겠어요?
- 0
- 2
- 99
질문&답변
2024.04.11
카프카 3버전
안녕하세요~ 제가 아는 선에서는 아직도 카프카 3을 상용환경에서 적극적으로 사용하고 있는 기업은 많지 않은 것으로 보입니다. 왜냐면 기존에 2점대 카프카 브로커를 사용하다가 3으로 넘어가기 위한 마이그레이션 작업이 쉽지 않기 때문입니다. 다만, 최근에 새로 카프카 클러스터를 구축하는 기업에서는 3버전을 도입하고 있는 것으로 알고 있습니다.
- 0
- 1
- 97