로그프레소 엔터프라이즈 - 데이터 수집과 파싱

데이터 수집과 정규화를 위한 🔓
로그프레소 엔터프라이즈 솔루션.

강의 소개

이 과정에서는 로그프레소(Logpresso)를 통해 데이터를 수집하고 수집한 데이터를 쿼리가 가능하도록 정규화하는 방법을 익힙니다. 현장에서 발생하는 다양한 로그를 실시간으로 로그프레소로 가지고 들어오는 수집 방법, 데이터를 의도에 맞게 정규화하는 방식을 알고자 하는 엔지니어를 위해 구성된 강의입니다.

실제 로그를 통해 배우는 데이터 수집 및 파싱(Parsing)

로그프레소는 보안 장비 로그의 파서도 제공하고 있지만, 실무에서는 현장에서 커스텀하게 파싱(Parsing)을 해야 하는 경우가 많습니다. 이때 활용할 수 있는 정규표현식 및 쿼리(Query) 기반 파서의 구성 방식에 대해 실제 로그를 파싱하면서 알아가게 됩니다. 자주 사용되는 로그 수집 방식을 익힘으로써 로그프레소의 수집 방식을 이해하고, 다른 수집기의 응용을 통해 필요한 데이터를 수집할 수 있게 됩니다.

수집기 설정 및 데이터 정규화

네트워크, 보안 로그를 수신하는 시스로그 수집기 및 응용 프로그램에서 사용하는 HTTP 수집기의 설정 방법을 통해 데이터를 수신하는 패시브(Passive) 방식의 수집 방법, 파일 기반의 로그 수집, RDBMS의 데이터를 수집하는 수집기의 설정 방법을 익혀 데이터를 직접 가지고 오는 액티브(Active) 방식의 수집 방법을 다루게 됩니다. 또한 수집한 데이터를 정규화하는 파서에 대한 설명과 상황에 맞게 적용할 수 있는 정규표현식, 쿼리 등으로 파서를 생성하는 방식과 만들어진 파서를 엮어 다양한 형태로 섞여 들어오는 데이터를 파싱하는 방법에 대해서도 알 수 있게 됩니다.

에이전트 설치 및 수집기 생성

그리고 원격 서버에 에이전트를 설치하여 수집기를 생성하는 방법도 이 과정에서 다루고 있습니다. 원격 서버에서 데이터를 압축, 암호화하여 수집하는 에이전트를 설정하는 방식은 물론 수집 설정 방식 역시 실습을 통해 익힘으로써 로그프레소의 에이전트 활용 방식에 대한 이해를 높일 수 있도록 강의를 진행합니다.

준비해야 할 것

PC 혹은 노트북

• 윈도(Windows) 기반의 PC 혹은 노트북이 필요합니다.

Chrome 기반 브라우저

• 로그프레소는 웹콘솔을 통해 모든 쿼리 수행이 가능합니다.
• IE 11 이상 또는 Chrome 계열(Edge, Whale 등), Firefox, Safari 등 HTML5를 지원하는 브라우저에서는 문제 없이 사용 가능합니다. (다만 Chrome 계열을 추천합니다.)

강의에서 다루는 툴

• 본 강의는 로그프레소 엔터프라이즈 서버 버전을 사용합니다.

연관 과정

로그프레소 엔터프라이즈 - 배치 처리

로그프레소 예약 쿼리 기능의 모든 것.