[데브원영] 아파치 카프카 for beginners

아파치 카프카(Apache Kafka), 핵심을 쏙쏙!

안녕하세요, 데브원영입니다🖐

포춘 100대 기업 80개 이상의 회사에서 사용하고 있는 아파치 카프카는 빅데이터 시대의 서비스를 지탱하는 훌륭한 오픈소스로 자리잡았습니다. 분산 스트리밍 플랫폼으로 운영되는 아파치 카프카는 빅데이터 플랫폼뿐만 아니라 MSA(Microservice Architecture) 구조의 백엔드 아키텍처에서도 중요한 역할을 하고 있습니다.

왜 아파치 카프카를 배우면 좋을까요?

📚 기존 AMQP와 다른 특징을 가진 스트리밍 플랫폼

높은 처리량, 확장성, 영속성, 고가용성 특징을 가진 카프카는 기존의 AMQP 기반 메시징 큐와 다른 특징을 가지고 있습니다. 브로커에 저장한 메시징 데이터는 처리 후 삭제되지 않고 저장되기 때문에 데이터를 재사용하는데 특화되어 있습니다.

이외에도 파티셔너, 리텐션, ISR과 같은 개념과 같은 카프카만의 특징이 있습니다. 이러한 특징을 학습하면 더욱 카프카를 효과적으로 사용, 활용할 수 있습니다.

🚀 스트림 프로세싱 개념 습득

프로듀서, 컨슈머 애플리케이션 개발을 통해 카프카에 저장된 데이터를 스트리밍 처리하는 방법을 습득할 수 있습니다. 카프카에서 공식적으로 제공하는 스트림즈DSL, 프로세서API를 사용하면 스트리밍 데이터 프로세싱 애플리케이션을 빠르게 개발하고 유연하게 운영할 수 있습니다. (추후 강의 업데이트 예정)

🎯 카프카 확장 생태계

데이터 파이프라인을 유연하고 빠르게 만들기 위해 카프카 커넥트, 미러메이커와 같은 기술이 카프카에 포함되어 있습니다. 이를 통해 반복된 작업은 줄이고 다양한 카프카 클러스터를 종합 운영하여 효과적인 데이터 수집 파이프라인을 구축할 수 있습니다.

또한 카프카를 SaaS로 제공하는 서비스를 사용하면 5분 만에 클러스터를 구축하고 카프카를 테스트할 수 있으므로 PoC(Proof of Concept) 및 학습 용도로 사용해보는 것도 좋습니다!

이 강의만의 특징

다루는 기술

카프카를 더 자세하게 배우고 싶다면?