컨슈머 배포 질문

인프런 커뮤니티 질문&답변

Spring2Boot

작성한 질문수

카프카 완벽 가이드 - 코어편

Consumer 파티션 할당 전략 실습 - Cooperative Sticky 방식 할당 실습

작성

387

안녕하세요.

현재 k8s 환경에서 롤링 업데이트를 통해 팟을 배포하는 방식을 채택하여 사용중에 있습니다.

메시지 컨슈밍 퍼포먼스를 줄여주기 위해 리밸런싱 시간을 줄여주는게 굉장히 중요하다는 생각이 드는데요.

강의를 보다보니 Static membership과 Cooperative sticky 2가지 방식이 이에 적합한 것 같아 보입니다.

실제 프로덕션 레벨에서는 어떠한 방식을 사용하는지 궁금합니다!

kafka 데이터-엔지니어링

답변 1

권 철민

지식공유자

안녕하십니까,

Static은 기본적으로 동일한 Consumer Group id를 가지는 서로다른 Group instance id의 Consumer레벨에서 적용되는 것이라 질문을 Consumer 파티션 할당 전략 중 Sticky와 Cooperative Sticky중에 어떤 걸 사용하는지 물어보신걸로 가정하고 답변드리겠습니다.

Cooperative sticky가 가장 나은 방식인데, 문제는 운영에서 잘 안될때가 많습니다.

해당 기능이 Kafka 버전도 심하게 타는것 같고, 암튼 잘 안될때가 있습니다. 그래서 테스트 시 별 문제가 없으면 Cooperative Sticky를, 문제가 발생하는 경우에는 Sticky 할당 전략을 적용합니다.

그런데 아무래도 이슈가 생기는 경우를 피하기 위해서 Sticky 할당 전략을 사용하는 경우가 더 많은 것 같습니다.

감사합니다.

Spring2Boot

작성한 질문수

전체 Q&A

질문하기