GCP 빅쿼리(BigQuery) 입문자를 위한 강의
GCP에서 제공하는 정형화(Structured), 비정형화(Unstructured) 데이터 둘 다 편리하게 다룰 수 있고 자유로운 테이블 포맷을 허용하는 컬럼 지향 스토리지(Columnar Storage), 만능형 데이터베이스 BigQuery를 함께 배워봐요.
입문자를 위해 준비한
[데이터 분석, bigquery] 강의입니다.
이런 걸
배워요!
BigQuery에서 제공하는 특수한 문법
ARRAY, STRUCT 데이터 타입 쿼리
간단한 SQL 쿼리
다양한 JOIN 패턴 및 장/단점
BigQuery는 무엇이며 왜 배워야 할까요? 🤔
BigQuery는 Google Cloud Platform(GCP) 서버리스 데이터 웨어하우스(Serverless Data Warehouse)입니다. BigQuery는 페타바이트 규모의 데이터를 쉽게 다룰 수 있게 해주며, 회사에서 데이터를 저장하고 쿼리하는 데 도움이 되는 클라우드 데이터베이스(database)입니다. 이러한 이점때문에 방대한 데이터를 BigQuery 머신 러닝에 업로드하여 데이터를 더 잘 이해할 수 있습니다. 또한 BigQuery로 원하는 데이터를 어디서나 쉽게 불러올 수 있습니다. 구글 드라이브를 포함하여 각종 플러그인을 사용하여 외부 데이터셋도 쉽게 BigQuery 테이블로 불러올 수 있습니다. 이런 확장성 때문에 BigQuery의 인기는 계속 상승하고 있습니다.
SQL에 익숙한 사람이라면 bigquery를 배우기가 쉽습니다 . 장점으로는 빠른 데이터 처리와 확장성이 있습니다. 복잡한 데이터 분석과 다른 Google Cloud 서비스와의 통합을 가능하게 하여 Google Analytics 360에 도움이 될 수 있습니다.
본 강의에서는 데이터, 테이블 및 데이터세트를 탐색하는 방법을 배우게 됩니다. BigQuery 힌트와 포맷팅 도움을 사용하여 쿼리를 효율적으로 작성할 수 있습니다. SELECT 문을 사용하여 FROM, WHERE, GROUP BY, HAVING 및 ORDER BY 절을 사용하여 데이터에 대한 중요한 질문에 답하는 SQL쿼리(sql-query)를 작성합니다. 혹시라도 여러 테이블 작업과 조인 사용에 익숙하지 않다면 걱정하지 마세요. 빅쿼리 입문자를 위한 강의에서 모든것을 배울 수 있습니다.
BigQuery의 서버리스 아키텍처를 사용하면 SQL 및 Python과 같은 언어를 사용하여 인프라 관리 없이 조직의 가장 큰 질문에 답할 수 있습니다. BigQuery는 구조화된 데이터와 구조화되지 않은 데이터 모두를 처리하는 균일한 방법을 제공하며 Apache Iceberg, Delta, Hudi와 같은 오픈 테이블 형식을 지원합니다.
본 강의를 모두 수강하시면 여러분들께서는 SQL에 매우 큰 자신감이 생기실 수 있습니다 😃
빅쿼리를 자세히 배우고 싶어요.
BigQuery 구성 요소의 심층 내부를 배우고자 하는분
SQL을 빨리 익히고 싶어요.
데이터 여정을 이제 막 시작했고 짧은 시간 안에 초급에서 고급까지 SQL을 마스터하고 싶은 분
구글 클라우드 데이터 엔지니어 자격증에 관심있어요.
빅쿼리도 데이터 엔지니어 자격증 과정에 포함되어 있기 때문에 빅쿼리를 더 자세히 배우고 싶으신 분
강사 소개
Tempus Inc - Senior Software Engineer (2019 ~ 현재)
BigQuery & Python BigQuery SDK & DBT(Data Build Tool)를 활용한 데이터 전처리 개발
Implement PHI data masking & automate data legal review process
CarVi Inc - Data Scientist (2017 - 2019)
자율주행 데이터 분석
실시간 주행데이터 수집 및 분석, 차선이탈 & 차량충돌 시스템 구현
인프런 강사 - AWS 입문자를 위한 강의 (강의링크)
인프런 강사 - AWS 중상급자를 위한 강의 (강의링크)
인프런 강사 - AWS 실전편을 위한 강의 (강의링크)
인프런 강사 - Python 입문자를 위한 강의 (강의링크)
저자 - 업무에 바로 쓰는 AWS 입문 (도서링크)
이런 분들께
추천드려요!
학습 대상은
누구일까요?
BigQuery를 체험해보고 싶으신 분
SQL에 관심이 많으신분
BigQuery만의 문법을 배우고 싶으신 분
선수 지식,
필요할까요?
SQL 기본 지식
기본 프로그래밍 지식
안녕하세요
Sungmin Kim입니다.
안녕하세요. 저는 학부와 석사를 미국에서 나왔으며 전공은 각각 Computer Science, Data Science를 공부하였습니다. 현재 저는 Healthcare쪽 회사의 데이터 엔지니어로 일하고 있습니다. 매일 제가 하는 일을 간단하게 말씀드리자면; AWS와 Airflow를 사용하여 매일 데이터를 불러와 ETL과정을 거치며, 데이터가 잘 들어오는지 모니터링하면서 문제점 혹은 개선의 여지가 필요한 경우 프로그램을 구현하는 일을 하고 있습니다. 데이터 모니터링은 주로 AWS의 CloudWatch와 Splunk라는 프로그램을 사용하고 있습니다.현재 제가 회사에서 사용하고 있는 기술들은 Python, AWS, SQL 등등이며 최근에는 GCP로 Migration하고 있는 추이이며 AWS와 GCP를 동시에 접하고 있습니다.
2022년에는 회사에서 거의 80%의 데이터 및 파이프라인이 GCP로 Migration을 마쳤으며 Bigquery & GCS & GKE쪽을 심오하게 다루고 있습니다. 물론 Docker Container & Terraform사용으로 전반적인 IaC 작업도 병행해서 진행하고 있습니다.
데이터 엔지니어로 일하면서 가장 크게 느낀점은 다음과 같습니다. 매일 새로운 기술들의 등장으로 인해 지금 내가 사용하고 있는 기술들이 과연 obsolete해질까? 그렇다면 그 이유는 무엇인가? 정말 그 기술이 이걸로 대처될 수 있는가? 단점은 없는 것인가? 그렇습니다. 저 모든 질문들에 대한 답변을 찾는것은 매우 힘들어 보입니다. 그러나 그 과정을 겪으면서 한가지 공통점이 보였습니다. 깊게 들어가보면 거의 대동소이 하다는 것입니다. 다시 말해 하나를 제대로 파헤친다면 다른 기술을 배우는 것은 많이 용이해진다는 것이죠. 저는 이런 메카니즘을 강의에서도 종종 언급을 하고 싶습니다. 여러분들과 함께 제가 현재 가지고 있는 모든 지식들을 공유하고 싶습니다. 여러분들의 길잡이가 될 수 있도록 최선을 다하겠습니다.
저 사이먼킴은 여러분들께 재미있고 이해하기 쉬운 강의를 선보일꺼에요. 여러분들과 끊임없이 소통하면서 더 나은 사람이 될 것을 약속드리구요. 여러분들의 실력이 향상되는것을 지켜보는 것은 저의 큰 행복입니다.
집필저서: 업무에 바로 쓰는 AWS 입문
커리큘럼
전체
35개 ∙ (2시간 48분)
CRUD 소개
03:38
WHERE로 데이터 필터링 하기
03:06
불필요한 컬럼은 EXCEPT로 없애기
03:49
WITH를 사용하여 CTE 이해하기
05:19
ORDER BY로 데이터 정렬하기
03:00
GROUP BY로 데이터 묶기
04:33
COUNT로 데이터의 개수를 세어보기
03:02
ARRAY & STRUCT
07:14
ARRAY_AGG로 ARRAY 만들기
07:33
UNNEST
05:30