인프런 커뮤니티 질문&답변

신진님의 프로필 이미지

작성한 질문수

IT 회사에서 비개발자가 살아남기 위한 모든 개발 지식 A to Z

데이터 파이프라인(데이터의 전체 흐름) 파악하기

로그 서버

21.12.23 13:24 작성

·

172

2

로그 서버라는 말을 하는데 이건
말씀 하신 데이터 레이크 앞에서 수집을 하는
서버이겠죠?
 
그러면 카프카는 로그서버의 하나인가요?
 
 
Rdbms와 빅데이터는 혼용해써도될까요?
(데이터 웨어하우스는 rdbms인가요?)
 

답변 1

0

그랩님의 프로필 이미지
그랩
지식공유자

2021. 12. 24. 23:53

로그서버는 보통 폭넓게 사용되곤 하는데, 말씀하신 것처럼 데이터 레이크 앞에 수집을 하는 서버도 로그서버라고 칭합니다 :)

카프카는 로그 서버에게 로그를 전달해줄 때 사용하는 대용량 메시징 서비스라고 보시면 됩니다. 보통 규모가 큰 서비스를 운영하는 회사는 아래와 같은 흐름으로 로그가 저장됩니다.

클라이언트, 서버 (로그)-> 카프카 -> 로그 서버 -> 데이터 레이크 혹은 다른 로그 저장소

 

데이터 웨어하우스는 보통 데이터를 분석할 때 사용하는 데이터가 들어있으며 RDBMS와는 다른 데이터베이스 입니다. RDBMS는 보통 빠른 속도와 안정성을 중요시하는 상용 서비스의 데이터베이스로 활용하고 서비스에서 발생하는 모든 데이터들을 분석, 모델링하기 위해 저장하는 디비가 바로 데이터웨어하우스라고 보시면 됩니다. 더 심화된 개념으로 OLTP, OLAP를 찾아보시면 좋을 것 같아요 :)

신진님의 프로필 이미지

작성한 질문수

질문하기