데이터 사이언스

/

데이터 엔지니어링

로그프레소 엔터프라이즈 - 배치 처리

로그프레소에서 자동으로 스케줄링 수행을 하는 예약 쿼리 기능의 사용 방법에 대해 다룹니다. 주로 스케줄링으로 수행되는 집계 쿼리 패턴 등 데이터 가공을 위한 각각의 쿼리 패턴을 학습하고 문제를 해결하는 방법을 알아봅니다.

(5.0) 수강평 2개

수강생 232명

Thumbnail

중급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.

이런 걸
배워요!

  • 빅데이터

  • 로그프레소

데이터 수집과 정규화를 위한 🔓
로그프레소 엔터프라이즈 솔루션.

강의 소개

로그프레소
하나의 엔진에서 실시간 및 배치 처리가 가능한
올인원 빅데이터 솔루션입니다.

이 과정에서는 로그프레소(Logpresso)에서 자동으로 스케줄링 수행을 하는 예약쿼리 기능의 사용 방법을 다룹니다. 로그프레소 배치(Batch) 처리 과정은 크게 1)예약쿼리 기능과 2)예약쿼리에서 사용할 만한 다양한 집계성 쿼리를 실습하는 두 부분으로 구분됩니다.

예약쿼리 기능이란

예약쿼리는 설정한 주기에 따라 설정된 쿼리를 수행하는 기능입니다. 본 강의에서는 경보 등의 선택 가능한 옵션과 기능들에 대한 설명을 다룹니다. 예약쿼리에서 구사하는 쿼리는 주로 통계성, 집계성 쿼리가 많기 때문에 이에 대한 몇 가지 쿼리 혹은 쿼리 패턴을 다루게 됩니다.

다양한 쿼리 패턴 및 사용법

뿐만 아니라, 스케줄링으로 수행되는 쿼리는 주로 집계성 쿼리들이기 때문에 집계 쿼리의 패턴도 수업 과정에 포함됩니다. 집계 및 통계시 원본 데이터를 복잡한 형태로 가공하는 방법에 대한 쿼리 패턴을 다루는 데 집중합니다. 집계 쿼리에서는 특정 방식으로 데이터 가공이 필요한 경우도 있으며 이를 로그프레소 쿼리로 해결하는 방법도 다루고 있습니다. 

이렇듯 각각의 쿼리 패턴을 학습하는 과정에서 다양한 로그프레소 쿼리 사용법을 익힐 수 있도록 강의를 구성하였습니다.


준비해야 할 것

PC 혹은 노트북

  • 윈도(Windows) 기반의 PC 혹은 노트북이 필요합니다.

Chrome 기반 브라우저

  • 로그프레소는 웹콘솔을 통해 모든 쿼리 수행이 가능합니다.
  • IE 11 이상 또는 Chrome 계열(Edge, Whale 등), Firefox, Safari 등 HTML5를 지원하는 브라우저에서는 문제 없이 사용 가능합니다. (다만 Chrome 계열을 추천합니다.)

강의에서 다루는 툴

  • 본 강의는 로그프레소 엔터프라이즈 서버 버전을 사용합니다.
  • 강의에서 사용하는 데이터는 웹을 통해 획득하게 됩니다.
  • 웹에서 데이터를 접근하여 우리가 필요한 형태로 가공하는 방법도 교육 내용에 포함됩니다.

예상 질문 Q&A

Q. 쿼리와 로그프레소 설치파일은 어디에서 구할 수 있나요?

강의에 사용된 쿼리는 인프런 강의노트에 모두 올려 놓았습니다. 설치파일은 로그프레소 설치 및 샘플 데이터 설명 강의의 자료로 포함되어 있습니다.

Q. 강의를 듣기 위해서는 어떤 것들이 필요한가요?

이 강의는 예약쿼리 기능을 포함한 배치 처리를 다루고 있지만, 무엇보다 다양한 집계성 쿼리 유형을 익히는 데 초점을 맞춘 과정입니다. 때문에 적어도 '로그프레소 시작하기' 과정은 반드시 숙지하고 강의를 들으시는 것을 권장합니다.


연관 과정

데이터 수집, 정규화, 수집기 설정까지.

이런 분들께
추천드려요!

학습 대상은
누구일까요?

  • 빅데이터 서머리가 필요하신 분

  • 로그프레소 쿼리에 깊이를 더하고자 하시는 분

선수 지식,
필요할까요?

  • 로그프레소 기초 쿼리

2013년에 설립된 빅데이터 전문 기업 로그프레소는 보안, 통신, 금융, 반도체, 물류 등 다양한 산업군에 빅데이터/AI 분석 플랫폼을 공급하고 있습니다.

https://logpresso.com

커리큘럼

전체

15개 ∙ (4시간 34분)

수업 자료

가 제공되는 강의입니다.

강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!