AWS(Amazon Web Service) 중/상급자를 위한 강의

안녕하세요. 저는 학부와 석사를 미국에서 나왔으며 전공은 각각 Computer Science, Data Science를 공부하였습니다. 현재 저는 Healthcare쪽 회사의 데이터 엔지니어로 일하고 있습니다. 매일 제가 하는 일을 간단하게 말씀드리자면; AWS와 Airflow를 사용하여 매일 데이터를 불러와 ETL과정을 거치며, 데이터가 잘 들어오는지 모니터링하면서 문제점 혹은 개선의 여지가 필요한 경우 프로그램을 구현하는 일을 하고 있습니다. 데이터 모니터링은 주로 AWS의 CloudWatch와 Splunk라는 프로그램을 사용하고 있습니다.현재 제가 회사에서 사용하고 있는 기술들은 Python, AWS, SQL 등등이며 최근에는 GCP로 Migration하고 있는 추이이며 AWS와 GCP를 동시에 접하고 있습니다.

2022년에는 회사에서 거의 80%의 데이터 및 파이프라인이 GCP로 Migration을 마쳤으며 Bigquery & GCS & GKE쪽을 심오하게 다루고 있습니다. 물론 Docker Container & Terraform사용으로 전반적인 IaC 작업도 병행해서 진행하고 있습니다.

데이터 엔지니어로 일하면서 가장 크게 느낀점은 다음과 같습니다. 매일 새로운 기술들의 등장으로 인해 지금 내가 사용하고 있는 기술들이 과연 obsolete해질까? 그렇다면 그 이유는 무엇인가? 정말 그 기술이 이걸로 대처될 수 있는가? 단점은 없는 것인가? 그렇습니다. 저 모든 질문들에 대한 답변을 찾는것은 매우 힘들어 보입니다. 그러나 그 과정을 겪으면서 한가지 공통점이 보였습니다. 깊게 들어가보면 거의 대동소이 하다는 것입니다. 다시 말해 하나를 제대로 파헤친다면 다른 기술을 배우는 것은 많이 용이해진다는 것이죠. 저는 이런 메카니즘을 강의에서도 종종 언급을 하고 싶습니다. 여러분들과 함께 제가 현재 가지고 있는 모든 지식들을 공유하고 싶습니다. 여러분들의 길잡이가 될 수 있도록 최선을 다하겠습니다.

저 사이먼킴은 여러분들께 재미있고 이해하기 쉬운 강의를 선보일꺼에요. 여러분들과 끊임없이 소통하면서 더 나은 사람이 될 것을 약속드리구요. 여러분들의 실력이 향상되는것을 지켜보는 것은 저의 큰 행복입니다.

집필저서: 업무에 바로 쓰는 AWS 입문