데이터 엔지니어링

미래의 데이터 엔지니어 & 백엔드 개발자 주목!

데이터 엔지니어링이란

데이터 수집 · 저장 · 추출 · 가공을 위한 
데이터 파이프라인을 구축하고, 
데이터를 처리하는 일이에요. 

 데이터 엔지니어링의 열쇠 🗝️ 
떠오르는 빅데이터 삼대장 하둡, 스파크 & 카프카 

헤쳐 모여! 데이터 분산 처리 시스템, 하둡

MapReduce YARN HDFS

아파치 하둡(Apache Hadoop)은 대용량 데이터를 대형 컴퓨터 한 대로 처리하는 대신, 여러 대의 컴퓨터에서 동시에 분산 처리해 주는 컴퓨팅 플랫폼입니다. 정형 데이터는 물론 사진이나 영상 같은 비정형 데이터까지 적은 비용으로 더욱 빠르게 처리할 수 있게 해줘요.

빅데이터 처리 & 분석의 대세, 스파크

Spark DataFrame MLFlow Tracking

아파치 스파크(Spark)는 범용 분산 데이터 처리 엔진입니다. 반복적인 처리가 필요한 작업에 대해서는 하둡 맵리듀스보다 훨씬 빠르다는 장점이 있죠. 데이터를 복합적으로 운영해야 하는 애플리케이션이라면 많은 도움이 될 수 있어요.

링크드인이 만든 실시간 데이터 처리 플랫폼, 카프카

Stream Processing Event-Driven

비즈니스 전문 소셜미디어 링크드인(Linkedin)에서 수많은 데이터를 실시간으로 처리하기 위해 고안한 카프카(Kafka)는, 대용량 스트리밍 데이터를 수집하고 사용자들이 이를 실시간으로 소비할 수 있도록 처리해 주는 역할을 합니다.

더 많은 데이터 엔지니어링 스킬이 궁금하다면?

ELK RDBMS Python Redis …

▼ 스크롤을 내려 확인해보세요 ▼