로그프레소 엔터프라이즈 - 실시간 처리 및 외부 연동

실시간 데이터 처리, 로그프레소로 해결!
강력한 빅데이터 솔루션을 경험하세요.

강의 소개

실시간 데이터 처리 방법?

데이터 레이크(Data Lake) 등, 오늘날 새로운 데이터 처리 트렌드는 빅데이터를 바탕으로 한 실시간 데이터 처리 방법이 근간을 이루고 있습니다. 그러나 실시간 빅데이터 시스템을 구축하는 것은 매우 어렵습니다. 비용이 많이 들 뿐만 아니라, 오픈소스나 클라우드 기반으로 구성을 하려고 해도 단일 솔루션이 아니라 여러 시스템을 짜맞추는 작업을 수반해야 하기 때문입니다.

로그프레소는 실시간 데이터 처리에 매우 적합하게 설계된 플랫폼입니다. 단일 장비에 로그프레소만 설치해도 수집, 전처리, 저장 등을 포함한 실시간 처리(Real-Time Processing)의 전반을 모두 할 수 있습니다.

이 강의는!

이 과정에서는 로그프레소(Logpresso)의 특장점인 실시간 처리와 외부 연동을 포함한 데이터 엔지니어링을 수행하는 방법에 대해 설명합니다. 로그프레소에서 실시간으로 가능한 모든 것을 심도있게 설명함으로써, 상대적으로 적은 시간과 노력을 들여 실시간 빅데이터 처리 플랫폼을 구축하는 데 도움을 주는 것을 목적으로 합니다.

로그와 같은 데이터는 순간의 진실(Truth of Moment)을 담고 있어야 활용도가 높아집니다. 이를 위해 실시간 데이터 참조를 위한 도구 및 활용법을 알고 있어야 합니다. 이번 강의에서는 실시간에서 논리적으로 연관이 있는 건들의 선후 관계 및 수집 간격으로 여러 가지 행위를 감지하거나, 후속 작업을 진행하기 위한 CEP(Complex Event Processing, 실시간 이벤트 컨텍스트)에 대해서도 깊이있게 다룰 예정입니다. 뿐만 아니라, 수집한 빅데이터를 가공을 거쳐 파일, DB, 네트워크 등으로 보내는 외부 연동을 쉽게 수행하는 방법을 알려드립니다. 

강의를 통해 전체적인 실시간 처리 기능을 데이터 엔지니어링의 관점에서 바라볼 수 있는 시각을 길러보세요.

---

준비해야 할 것

PC 혹은 노트북

• 윈도(Windows) 기반의 PC 혹은 노트북이 필요합니다.

Chrome 기반 브라우저

• 로그프레소는 웹콘솔을 통해 모든 쿼리 수행이 가능합니다.
• IE 11 이상 또는 Chrome 계열(Edge, Whale 등), Firefox, Safari 등 HTML5를 지원하는 브라우저에서는 문제 없이 사용 가능합니다. (다만 Chrome 계열을 추천합니다.)

SFTP 서버

• 섹션 2 [외부 데이터 연동] 부분에서 원격 파일 접근을 위해 로컬에 SFTP 서버를 구성해 실습을 진행하게 됩니다.
• 이를 위해 접근 가능한 서버를 활용하거나, 링크로 제공하는 프리웨어를 사용하게 됩니다.

데이터베이스

• 섹션 2 [외부 데이터 연동] 부분에서, 데이터베이스로부터 데이터를 가져오거나 내보내는 쿼리 실습을 진행하게 됩니다. 이를 위해 데이터베이스가 필요합니다.
• 데이터를 읽고 쓸 수 있는 데이터베이스만 있으면 강의 진행에 문제가 없습니다.
• 본 강의에서는 이미 설치된 오픈소스 데이터베이스, 마리아DB(MariaDB)를 통해 진행합니다. 따라서 별도의 설치 과정을 다루지 않습니다.

---

강의에서 다루는 툴

• 본 강의는 로그프레소 엔터프라이즈 서버 버전을 사용합니다.
• 또한 로그프레소에서 강의용으로 제공되는 데이터를 사용해 강의를 진행합니다. 툴과 데이터는 강의 수강신청 후, 섹션 0 [강좌 준비] 에서 제공되는 강의를 통해 접근할 수 있습니다.
• 데이터베이스 연동을 위해 별도의 DB를 설치해야 할 수도 있습니다.

---

예상 질문 Q&A 💬

---

연관 과정