인프런 커뮤니티 질문&답변

오호... 잘 되네요... 감사합니다.

근데 --partition 0옵션을 넣는 이유가 뭔지가 갑자기 궁금해집니다.

시간되실때 답변 부탁드립니다.

감사합니다.

네~ "LeeDong Won"님!

카프카의 파티션은 분산환경의 대규모 실시간 메세징 처리를 위한 강력한 기능중 하나 입니다.

이를 위해 다양한 파티션 전략을 세울수 있는데요, 그중 아래와 같이 아키텍처링 해 볼 수 있습니다.

하나의 토픽을 생성하고, 해당 토픽에 여러개의 파티션을 만들어서, 대규모 메세지들이 여러 파티션으로 안정적이면서 빠르게 분산 저장되게 만듦니다.

이렇게 여러 파티션에 분산 저장된 메세징들을 빼내서 빠르게 처리하기 위해선, 파티션의 수만큼 여러 컨슈머가 있어야 겠죠??!!

그래서 해당 토픽에 데이터를 수신받기 위한 여러 컨슈머를 구성해 하나의 컨슈머 그룹으로 묶고, 해당 그룹안에 컨슈머들이 여러 파티션들로부터 동시다발적으로 메세징을 빼내서 처리 하게끔 구성을 합니다.

가장 심플하게는 파티션을 3개를 만든다면, 하나의 컨슈머 그룹안에 3개의 컨슈머 프로그램을 작동 시켜서 아래와 같이 구성할 수 있습니다.

SmartCar-Topic > 파티션0번 --> 컨슈머그룹1 > 컨슈머프로그램1
> 파티션1번 --> 컨슈머그룹1 > 컨슈머프로그램2
> 파티션2번 --> 컨슈머그룹1 >컨슈머프로그램3

위 상황에서 또 다른 시스템이 SmartCar-Topic의 데이터를 수신하고 싶다면, 새로운 컨슈머그룹2 > 컨슈머프로그램1,2,3을 작동시켜서, 메싱징 데이터들을 제공받을 수 있습니다.

파일럿 프로젝트에선 자원의 한계상 SmartCar-Topic을 만들때 1개의 파티션을 만들겠다고만 정의를 했고,
컨슈머가 작동될때 SmartCar-Topic의 0번 파티션을 참조 하겠다고 옵션을 설정한겁니다.

카프카는 빅데이터 시스템뿐만 아닌, 다양한 시스템에서 많이 활용되고 있고요..
실시간 메세징 처리에 관심이 있다면 깊이 있는 연구와 경험이 필요한 분야 입니다.
사실 모든 분야가 다 그렇기는 하지만요...^^;;;

파일럿프로젝트 끝까지 화이팅! 입니다. -빅디 드림

상세하고 친절한 답변 너무 감사드립니다!!!