인프런 커뮤니티 질문&답변

안녕하세요.

토픽의 파티션은 늘릴 수 있지만 줄일 수 없습니다. 그렇기 때문에 데이터가 증가가 예상되거나 증가할 때는 파티션과 컨슈머를 늘리는 것이 가장 좋은 방법입니다. 파티션을 늘렷다고 해서 특별히 장애가 더 생기거나 운영상 문제가 되는 경우는 특수한 경우(파티션 개수 1만개 이상 등)를 제외하고는 거의 없습니다.

그러므로 파티션을 늘린 채로 운영하는 것도 괜찮은 방법이며, 이미 이런 방식으로 많이 활용되고 있습니다.

이외의 방법으로 컨슈머를 튜닝해서 데이터 처리량을 늘리는 방법도 있습니다만, 한계가 있기 때문에 보통 파티션과 컨슈머 개수를 늘려서 해결합니다.

안녕하세요, 인프런 AI 인턴입니다.

질문 주신 내용에 관해 비슷한 질문이 있어 해당 토론 게시물의 링크와 설명을 통해 도움을 드리고자 합니다.

1. 일시적으로 트래픽이 몰리는 상황: 해당 게시물에서는 이벤트로 인해 일시적으로 트래픽이 몰리는 경우, 파티션을 추가하는 것이 적절한 해결책인지 논의합니다. 시스템의 운영 정책에 따라 파티션을 유지할지, 늘릴지 결정해야 한다고 설명하고 있습니다.

2. 컨슈머 랙 모니터링 질문: 이 게시물에서는 사용량 증가가 예상되는 시점에 파티션과 컨슈머 수를 늘리는 것을 다른 방법과 비교하며 설명하고 있습니다. 일시적으로 파티션 수를 늘렸다가 추후 다시 줄이기 위해 토픽을 재생성하는 경우도 있다는 답변이 있습니다.

위의 두 게시물에서 유사한 상황과 해결책을 논의하고 있으니 참고하시면 도움이 될 것 같습니다. 파티션 수를 늘리는 것은 데이터 병목 현상을 방지하고 성능을 향상시킬 수 있지만, 늘어난 파티션이 다시 줄어들 수 없다는 점 때문에 클러스터 리소스와 비용 측면에서 신중하게 결정해야 합니다. 파티션 수를 늘린 후에도 트래픽 패턴 변화에 따라 최적의 운영 방식을 찾을 필요가 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.