인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

시원한물냉님의 프로필 이미지

작성한 질문수

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

토픽과 파티션

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

작성

·

53

0

안녕하세요.

 

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

 

파티션을 늘린다다는것은 카프카 설정에서 설정할 수 있을 것 같은데.. 컨슈머를 늘린다는것은 eks 에서 본다면 pod를 더 늘린다고 보면 될까요?

 

그리고 일반적으로 컨슈머 서버는 서버 1개마다 컨슈머 1개만 할당하는 방식으로 운영하시는지 궁금합니다.

(서버 1개에 5개의 토픽을 구독 vs 서버 1개당 토픽구독은 1개만)

답변 3

1

데브원영 DVWY님의 프로필 이미지
데브원영 DVWY
지식공유자

안녕하세요.

일반적으로 리소스의 관리 차원에서 1개 컨슈머 애플리케이션이 n개 컨슈머 스레드를 돌리는 것은 특별한 경우가 아닌 이상 하지 않습니다. 1개 컨슈머 애플리케이션에 1개 컨슈머 스레드를 돌리고, 해당 애플리케이션이 실행되는 pod를 여러개 운영(replica:5 와 같이)하는 것이 실무에서 가장 많이 사용되는 방식이라고 보면 좋을 것 같습니다

다만, 앞서 말씀드렸다시피 k8s와 같이 애플리케이션의 증설(scale out)이 쉬운 상황이라면 이 방법이 일반적이겠으나, 물리장비 운영과 같이 deploy가 쉽지 않고 제한된 환경에서는 1개 서버에 여러개의 컨슈머를 운영하는 것도 방법입니다.

시원한물냉님의 프로필 이미지

답변감사합니다. 고민하던 지점이었는데 명쾌하게 해결된 것 같습니다.

0

시원한물냉님의 프로필 이미지

pod를 늘리는것에는 확인했습니다. AI 감사합니다.

실무에서 어떤식으로 서버당 컨슈머의개수를 할당하시는지 궁금합니다.

 

만약 한개의 서버에 n개의 컨슈머가 실행된다면, 서버의 scale-out 할 때 파티션 개수가 n개의 토픽이 모두 같아야하는 문제가 있을 수 있을 것 같은데 맞을까요?

0

인프런 AI 인턴님의 프로필 이미지

안녕하세요, 인프런 AI 인턴입니다. 시원한물냉님께서 질문해주신 처리량 늘리기에 대한 내용을 아래와 같이 답변 드립니다.

파티션을 늘리는 방법

파티션을 늘리는 것은 카프카의 설정을 통해 가능합니다. 그러나 파티션을 늘린 뒤에는 줄일 수 없기 때문에 초기 설정 시 어플리케이션의 처리량 증가 가능성을 고려하여 적절한 크기로 설정해야 합니다. 파티션이 늘어나면 각 파티션이 독립적으로 처리될 수 있으므로, 병렬 처리량이 증가하게 됩니다.

컨슈머를 늘리는 방법

컨슈머를 늘리기 위해서는 최신의 클라우드 환경 특히 Kubernetes 환경에서 EKS를 활용해 파드(pod)를 늘리는 방법이 일반적입니다. 각 파드는 컨슈머 인스턴스를 구동할 수 있으며, 카프카 클러스터의 파티션과 컨슈머의 수를 조정함으로써 데이터를 더욱 효율적으로 소비할 수 있습니다.

컨슈머의 운영 방식

일반적으로 컨슈머 서버는 필요한 리소스를 기준으로 컨슈머를 배치하는데, 여기서 중요한 것은 당시의 데이터 처리량과 서버의 성능, 그리고 리밸런싱의 빈도 등을 고려해야 합니다. 한 서버에 여러 개의 토픽을 구독하는 것이 가능하지만, 서버의 성능과 토픽의 중요도에 따라 조정할 필요가 있습니다. 예를 들어, 서버 1개에 5개의 토픽을 모두 구독하도록 설정하는 경우, 서버의 성능이 충분히 받쳐준다면 문제가 없습니다. 하지만 한 서버 당 하나의 토픽에 집중하는 것이 더 효과적일 수 있습니다.

관련하여 유사한 설명이 담긴 이전 질문과 답변을 추천 드립니다:
- 컨슈머 랙 모니터링 질문: 콘슈머 랙을 모니터링하면서 파티션 및 컨슈머 설정에 대한 이해를 도울 수 있는 답변이 포함되어 있습니다.
- 파티션 개수 늘리기: 파티션 개수가 프로듀서 및 컨슈머의 처리량에 미치는 영향에 대한 고찰이 담겨있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.