[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

아파치 카프카를 위한 핵심 지식!

데이터 엔지니어 이벤트 드리븐
스트림 프로세싱 데이터 파이프라인

기본 개념 + 상용 환경 적용을 위한 각종 기능까지 
강의 한 편에 카프카의 핵심을 꼼꼼하게 담았습니다 😊

혹시, 여러분의 고민은 아닌가요? 🤷‍♂️

• “아파치 카프카에서 사용하는 개념이 너무 어려워요”
• “카프카를 사용하여 반복적인 데이터 파이프라인을 만들고 싶어요”
• “카프카가 다른 플랫폼과 비교하여 무엇이 좋은지 모르겠어요”
• “카프카 주변 생태계가 무엇이 있는지 궁금해요”

1️⃣ 아파치 카프카에서 사용하는 단어와 개념을 완벽하게 습득

아파치 카프카에서 다루는 단어들의 종류는 상당히 다양합니다. 리밸런싱, 메시지 키, 파티셔너, 어큐뮤레이터, 태스크와 같은 단어들은 카프카에 익숙하지 않은 개발자에게는 생소한 단어들인데요. 각 단어에 대한 정확한 개념을 이해하지 않으면 카프카를 이해하고 개발하는데 상당히 애를 먹게됩니다. 이번 강의에서는 카프카에서 사용하는 주요 단어에 대한 정확한 개념을 설명합니다.

2️⃣ 카프카 애플리케이션의 종류와 이해

분산 이벤트 스트리밍 플랫폼인 아파치 카프카는 일반적인 메시징 큐 기능을 지원할 뿐만 아니라 이벤트에 대한 실시간 스트림 프로세싱도 가능합니다. 또한 데이터 플랫폼으로서 데이터 파이프라인을 반복적으로 생성하고 운영하는데 적합한데요. 이런 기능들을 사용하고 활용하시기 위해서는 주변 생태계가 무엇이 있는지 확실히 알아야 합니다. 이번 강의에서는 프로듀서, 컨슈머 뿐만 아니라 카프카 스트림즈와 카프카 커넥트를 다룸으로서 애플리케이션을 개발하는 개발자들에게 스트림 데이터 프로세싱에 대한 인사이트를 제공합니다.

3️⃣ 실무에서 사주 사용하는 기능과 옵션 학습

여러분들이 카프카 애플리케이션들을 개발할 때 처음부터 모든 기능을 학습하고 배우실 필요는 없습니다. 컨슈머는 이미 90개 이상의 옵션을 제공하고 있지만 모든 옵션을 사용하는 것은 아닙니다. 이번 강의에서는 여러분들이 애플리케이션을 개발할 때 당장 설정하고 적용을 해야하는 옵션, 그리고 제가 개발하면서 적용했던 옵션값들을 알려드립니다. 이런 가이드라인을 통해 여러분들은 시행착오를 줄이고 카프카 애플리케이션을 더욱 빠르게 상용환경에 적용할 수 있게 될 것입니다.

4️⃣ 아파치 카프카 활용 스트림 데이터 아키텍처 설계

카프카의 기능과 옵션만으로는 스트림 데이터를 다루는데 한계가 있습니다. 어떤 기술을 어떤 방식으로 적용하는지에 따라 카프카의 활용도가 천차만별로 달라지게 됩니다. 이번 강의에서는 기술적인 설명뿐만 아니라 카프카 기반 아키텍처의 종류와 역사 그리고 사례 연구를 통해 실무에 카프카 기반 아키텍처를 어떤 방식으로 적용할 수 있는지 가이드라인을 제안합니다.

Q. 이 강의를 들으려면 [아파치 카프카 애플리케이션 프로그래밍 with 자바] 책을 반드시 구입해야만 하나요?

여기에서 다루는 기술과 코드는 [아파치 카프카 애플리케이션 프로그래밍 with 자바]를 기반으로 작성되었습니다. 그러나 이 강의에서 다루는 모든 내용은 PDF형태로 강의 자료가 제공되기 때문에 반드시 구입하지 않으셔도 됩니다. 추가적인 내용(미러메이커2, AWS MSK 등)을 학습하고 복습을 하고 싶으시다면 이 책을 구입하시는 것도 좋은 선택이 될 거라 확신합니다😍

Q. 비전공자도 들을 수 있나요?

이 강의는 아파치 카프카에서 다루는 기본 개념을 충실히 설명하고 실전 개발환경에서 필요한 기능과 옵션을 자세히 다룹니다. 또한 강의에서 개념 설명을 할 때 여타 소프트웨어나 빅데이터 플랫폼을 모르더라도 학습하는데 지장없도록 구성하였으므로 비전공자 중 데이터 엔지니어로 커리어를 나아가기 원하시는 분에게 적합합니다. 

Q. 왜 자바를 사용하여 학습하나요? 자바를 모르더라도 학습하는 데 지장이 없나요?

오픈소스 아파치 카프카에서 제공하고 지원하는 공식 라이브러리는 자바(Java)입니다. 또한 카프카 커넥트와 카프카 스트림즈를 개발하기 위해서는 반드시 공식 라이브러리인 자바 라이브러리를 디펜던시로 사용해야만 합니다. 그렇기 때문에 오픈소스 아파치 카프카의 진가를 알기 위해서는 자바 기반의 애플리케이션(프로듀서, 컨슈머, 스트림즈, 커넥트)를 개발해야 합니다. 써드파티 라이브러리(다른 언어들)는 동일한 기능을 제공하지 않으며 완벽하게 호환된다고 장담할 수 없기 때문에 자바로 강의를 구성하였습니다.

자바가 익숙하지 않더라도 걱정하지 마세요. 코드를 line by line으로 설명하기 때문에 어렵지 않게 따라오실 수 있습니다.

Q. 실습하는 데 반드시 맥북이 필요한가요?

아닙니다. 맥북이 아닌 OS에서도 실습이 가능합니다. 강의 진행 및 실습 환경은 모두 맥북을 기준으로 설명하지만 윈도우나 리눅스 환경에서도 JVM이 돌아가는 환경만 되면 모두 실행 가능하도록 스크립트가 준비되어 있습니다. 그러므로 맥북이 아니더라도 걱정하지 않으셔도 됩니다.

윈도우 환경의 수강생분들은 쉘 스크립트 실행을 위해 WSL 개발 환경 설정이 필요할 수 있습니다. 이에 대한 자세한 설명은 WSL 개발 환경 설정(링크)를 참고해주세요.

Q. 실습에 필요한 PC 사양은 어느 정도인가요?

주키퍼와 카프카 브로커를 로컬에 띄우고 실습을 진행하기 위해서는 최소 8GB 이상의 메모리를 가진 노트북 또는 데스크탑이 필요합니다. 그리고 CPU는 i3(3GHz) 이상을 권장합니다. 마지막으로 저장소로 SSD 또는 하드디스크에 1GB 이상의 여유 공간이 필요합니다.