AWS ์ ๋ฌธ์, ์ค/์๊ธ์๋ฅผ ์ํ ๊ฐ์๋ฅผ ๋ค ์๊ฐํ์์๋ ์์ง ๋ญ๊ฐ ๋ถ์กฑํ๋ค๊ณ ๋๋ผ์๋์? AWS ์ค์ ์ ์ํ ๊ฐ์๊ฐ ๋ฐ๋ก ๊ทธ๋ฐ ๋ถ๋ค์ ์ํ ๊ฐ์์ ๋๋ค.
Apache Airflow
AWS Batch
AWS ECR
AWS Athena
AWS Glue
์ค์ ์ค์ฌ! AWS ์์ฉ์ ์๊ฒฐํ.
๐ค AWS ์ ๋ฌธ์/์ค์๊ธ์ ๊ฐ์๋ฅผ ๋ง์ณค์ง๋ง ์์ง 1%๊ฐ ๋ถ์กฑํ ๊ฒ ๊ฐ์์.
๐ AWS ์ผ์ผ์ด์ค๋ฅผ ํตํด ํ์ฌ์์ ์น์ง์ ๋ ธ๋ฆฌ๊ณ ์์ด์.
๐ AWS์์ ์ ๊ณตํ๋ ๋ฆฌ์์ค๋ก ๋ค์ํ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํ๊ณ ์ถ์ด์.
๐ฅบ AWS์ ๋ค์ํ ์ฉ๋ก๋ฅผ ์ฒดํํด๋ณด๊ณ ์ถ์ด์.
๐ค ํด๋ผ์ฐ๋์ ์ธ๊ณ๋ก ๋ ๊น์ด ๋น ์ง๊ณ ์ถ์ด์.
๐ AWS ์๋ฆฌ์ฆ์ ์ข ์ฐฉ์ญ! ์ฌ๋ฌ๋ถ์ ๊ณ ๋ฏผ์ ํด๊ฒฐ์ฑ ์ ์ ์ํด๋๋ฆฝ๋๋ค.
AWS ์ค์ ํธ์ ์ํ ๊ฐ์๋ ์ฐ์ AWS ์ ๋ฌธ์, ์ค/์๊ธ์๋ฅผ ์ํ ๊ฐ์๋ฅผ ์ฌ๋ํด์ฃผ์๋ ์ฌ๋ฌ๋ถ๋ค์ด ๊ณ์์ง ์์๋ค๋ฉด ์๊ธธ ์ ์์์ต๋๋ค. ์ฌ๋ฌ๋ถ๋ค์ ์ด๋ ฌํ ์์๊ณผ ์ง์ง ๋ํ์ ์ด ๊ฐ์๊ฐ ์๊ฒผ๋ค๊ณ ํด๋ ๊ณผ์ธ์ด ์๋๋๋ค.
๋ณธ ๊ฐ์๋ ํ์ ์์ ์์ง๋์ด๋ค์ด ์ด๋ป๊ฒ AWS๋ฅผ ์ฌ์ฉํด์ ETL ํ์ดํ๋ผ์ธ ๊ตฌ์ถ, ๋์ปค ์ปจํ ์ด๋, Airflow ์ค์ผ์ฅด๋ฌ ๊ตฌ์ถ์ ํ๋์ง์ ๋ํ ๊ฐ์ ์ ์ธ ๊ฒฝํ์ ํ์ค ์ ์๋๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค. ์ ๋ชฉ์์ ์์ค ์ ์๋ฏ ๊ฐ๋ ์ ๋ฆฌ๋ ์ต์ํํ๊ณ , ์ค์ต ์์ฃผ๋ก ์งํํฉ๋๋ค.
ํ๋์ ์น์ ๋น ์์ ๊ธธ์ด๋ ์งง๊ฒ๋ 30๋ถ, ๊ธธ๊ฒ๋ 1์๊ฐ ์ ๋ ์์๋ฉ๋๋ค. ๊ตฐ๋๋๊ธฐ๋ ๋ชจ๋ ๋นผ๊ณ ์ค์ํ ๋ด์ฉ๋ง ๋ด์ ์์ฑ์ผ๋ก ์ฌ๋ฌ๋ถ๋ค์๊ฒ ์ ๋ฌํ๊ธฐ ์ํจ์ ๋๋ค.
AWS๋ฅผ ๋นจ๋ฆฌ ์์ฉํด์ ์ฌ์ฉํ๊ณ ์ถ์ผ์ ๋ถ, AWS ์ ๋ฌธ์๋ฅผ ์ํ ๊ฐ์๋ฅผ ๋ฃ๊ณ ๋ ๊น๊ฒ ํด๋ผ์ฐ๋๋ฅผ ํํค์ณ๋ณด๊ณ ์ถ์ ๋ถ๋ค๊ป ์ ๊ทน ์ถ์ฒ๋๋ฆฝ๋๋ค.
๊ฐ์ ์ ์ ๊ณผ์ ์ ์์ด ์ ๊ฒฝ์ ๋ง์ด ์ด ๋ถ๋ถ ์ค ํ๋๋ ํธ๋ฌ๋ธ์ํ (Troubleshooting) ์น์ ์ ๋๋ค. ์ ๊ฐ AWS๋ฅผ ๋๋ฆฌ๋ ํ๊ฒฝ(์ด์์ฒด์ , ํ๊ฒฝ์ค์ ๋ฑ)์ ์ฌ๋ฌ๋ถ๋ค๊ณผ ํญ์ ๊ฐ์ง ์์ต๋๋ค. ๋๋ฌธ์ ์ ๋ ์ ๋์๊ฐ๋๋ผ๋ ์ฌ๋ฌ๋ถ์ ์๋ฌ๊ฐ ๋จ๋ ๋ถ๋ถ์ด ์์ ๊ฑฐ๋ผ ์๊ฐํฉ๋๋ค. ๋ชจ๋ ์๋ฌ๋ฅผ ๋ค ์ค๋ช ๋๋ฆฌ๋ ๊ฑด ๋ถ๊ฐ๋ฅํ์ง๋ง, ์ข ์ข ๋ฐ์ํ๋ ์๋ฌ๋ฅผ ๋ชจ์ ์ด๋ป๊ฒ ์ฌ๋ฌ๋ถ๋ค์ด ์ง์ ๋ฌธ์ ํด๊ฒฐ์ ํ ์ ์์์ง์ ๋ํ ๊ณ ๋ฏผ์ ๋ง์ด ํด๋ดค์ต๋๋ค. ๊ทธ๋์ ํด๋น ์น์ ์ ๋ง๋ค๊ฒ ๋์์ต๋๋ค.
๊ฐ์๋ฅผ ๋ง๋ค๋ '๋๋ ์ ๋์๊ฐ๋๋ฐ ๋ค๋ฅธ ๋ถ๋ค์ ์ด๋ฐ ์๋ฌ๊ฐ ๋จ์ง ์์๊น?' ๋ผ๋ ์๊ฐ์ ๊ฐ์ง๋ฉฐ ๊ทธ๋๊ทธ๋ ๊ฐ๋ฅ์ฑ ๋์ ์์ธ ์ํฉ๋ค์ ์ ๋ฆฌํ๊ณ ๊ทธ์ ๋ํ ํด๊ฒฐ์ฑ ์ ์ฌ๋ฌ๋ถ๋ค๊ป ์ ์ํฉ๋๋ค.
๊ทธ๋์, ํ์ต ํ์๋...
๋ณธ ๊ฐ์๋ ์ค์ต 90%, ์ด๋ก 10%๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค. ๋ฐ๋ผ์ ์ ์์ง์์ AWS ์ ๋ฌธ์๋ฅผ ์ํ ๊ฐ์์ ๋๋ค. ์ค/์๊ธ์๋ฅผ ์ํ ๊ฐ์๋ ์ ํ ์ฌํญ์ด๋ฉฐ, ์ค์ ํธ์ ์ํ ๊ฐ์์ ํจ๊ป ์์ฒญํ์ ๋ ๋ฌด๋ฆฌ๊ฐ ์์ต๋๋ค.
AWS ์ค์ ํธ์ ์ํ ๊ฐ์๋ AWS ์๋ฆฌ์ฆ์ ์ข ์ฐฉ์ญ์ ๋๋ค. ์ค์ ํธ์ ์๊ฐํ์ จ๋ค๊ณ ํด์ AWS์ ๋ชจ๋ ๊ฒ์ ๋ค ์ดํดํ๋ค๊ณ ํ ์ ์์ต๋๋ค. ๊ทธ๋ฌ๋ ์ฌ๋ฌ๋ถ๋ค์ด ์์ผ๋ก AWS๋ฅผ ์ฌ์ฉํ๊ณ ์๋ก์ด ๊ธฐ์ ์ ๋ฐฐ์ฐ์ค ๋ ํฐ ๋์์ด ๋ ๊ฑฐ๋ผ ํ์ ํฉ๋๋ค.
์๋ฆฌ์ฆ ์ ์ ๊ณผ์ ์ ํ์ธํด๋ณด์ธ์.
Airflow๋ฅผ AWS์์ ๋๋ฆด ์ ์๋๊ตฌ์? ๊ทธ๋ ์ต๋๋ค. AWS์ Airflow๋ฅผ ํจ๊ป ์ฌ์ฉํด์ AWS ๋ฆฌ์์ค์ ๋์์ผ๋ก ๋์ฑ ๋ค์ํ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํ ์ ์์ต๋๋ค.
(1) ์ธ์คํด์ค ์์ฑ ํ Airflow๋ฅผ ๋๋ฆฌ๊ธฐ ์ํด ํ์ํ ํจํค์ง๋ฅผ ์ค์นํฉ๋๋ค.
(2) Airflow ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ๋ง๋ค๊ณ ์ฌ์ฉ์ ์์ฑ์ ํฉ๋๋ค.
(3) Airflow DAG๋ฅผ ์คํํฉ๋๋ค.
๋ฐฐ์น ์ก๊ณผ ํ๋ฅผ ์์ฑํ๊ณ ECR์ ํธ์ํ ์ด๋ฏธ์ง๋ฅผ ์คํํ๋ ์ค์ต์ ํฉ๋๋ค. AWS Batch๋ ์ ๋ฌธ์, ์ค/์๊ธ์ ๊ฐ์์์ ๋ค๋ฃจ์ง ์์๊ธฐ ๋๋ฌธ์ ์ด๋ฒ ์น์ ์์ ์งง๊ฒ ์๊ฐํฉ๋๋ค.
(1) ๋์ปค ์ด๋ฏธ์ง๋ฅผ ๋ณด๊ดํ ECR ๋ฆฌํฌ์งํ ๋ฆฌ๋ฅผ ๋ง๋ญ๋๋ค.
(2) ๋์ปค ์ด๋ฏธ์ง๋ฅผ ์์ฑํ๊ณ ECR ๋ฆฌํฌ์ ์ด๋ฏธ์ง๋ฅผ ํธ์ํฉ๋๋ค.
(3) ๋ฐฐ์น ์ก(Job)๊ณผ ํ(Queue)๋ฅผ ์์ฑํ๊ณ ์ก์ ์คํํฉ๋๋ค.
AWS ๋ฆฌ์์ค(S3, Glue, Athena)๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ๋จํ ETL ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํด๋ด ๋๋ค.
(1) ๋ก์ฐ๋ฐ์ดํฐ(raw data)๊ฐ ๋ค์ด๊ฐ ๋ฒํท์ ๋ง๋ค๊ณ ๋ฐ์ดํฐ๋ฅผ ๋ณด๊ดํ Athena ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ์์ฑํฉ๋๋ค.
(2) ๊ธ๋ฃจ ํฌ๋กค๋ฌ(Glue Crawler)๋ฅผ ๋ง๋ค์ด ๋ก์ฐ๋ฐ์ดํฐ๋ฅผ ์ถ์ถํฉ๋๋ค.
(3) Athena์์ ๋ฐ์ดํฐ ๊ฒ์ฆ๊ณผ์ ์ ๊ฑฐ์นฉ๋๋ค.
Q. ์ด ๊ฐ์๋ฅผ ๋ค์ด์ผ ํ๋ ์ด์ ๋ ๋ฌด์์ธ๊ฐ์?
์ด์ ๋ IT์ฐ์ ๋ฟ๋ง ์๋๋ผ ๋ค์ํ ๊ณณ์์ ํด๋ผ์ฐ๋๊ฐ ์ธ๊ธ๋๊ณ ์ฌ์ฉ๋ฉ๋๋ค. ํด๋ผ์ฐ๋ ์ธํ๋ผ๋ ์ด์ ์ค์ํ์์ ๋ผ๋ ค์ผ ๋ ์ ์์ต๋๋ค. ๋น ๋ฐ์ดํฐ ์๋์ ์ด๊ณ ์๋ ์ฐ๋ฆฌ๋ค์ ๋งค์ผ ์๋ง์ ๋ฐ์ดํฐ๋ฅผ ์์ฐํ๊ณ ์ฒ๋ฆฌํ๋ฉฐ ๋ถ์ํฉ๋๋ค. ์ด๋ ๊ฒฐ์ฝ ์ฌ๋์ด ๋ชจ๋ ํด๋ผ ์ ์์ต๋๋ค. ํด๋ผ์ฐ๋์ ๋์์ ๋ฐ์์ผ ํฉ๋๋ค. AWS๊ฐ ๋ฐ๋ก ๊ทธ ์ญํ ์ ๋ด๋นํฉ๋๋ค.
AWS ์ค์ ์ ์ํ ๊ฐ์๋ ์ค์ ํ์ ์์ ์ข ์ข ์ฌ์ฉ๋๋ ์ํคํ ์ณ๋ค์ ๋ช๊ฐ์ง ์๊ฐํ๋ฉฐ ์ฌ๋ฌ๋ถ๋ค์ด ๋ฐ๋ผ์ ์ค์ต์ ํ ์ ์๋ ๊ฐ์๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค. ์ค์ต์ ๋ฐ๋ผํ์๋ฉด์ ์ ์ฌ๊ธฐ์ ์ด๋ฐ ๋ฆฌ์์ค๊ฐ ์ฌ์ฉ๋๋ฉฐ ๋ ๋์ ๋ฐฉ๋ฒ์ ์๋์ง ์ค์ค๋ก์๊ฒ ์ง๋ฌธ์ ๋์ง๋ฉด์ ๊ฐ์๋ฅผ ๋ฐ๋ผ์ค์๋ ๊ฒ์ ๊ถ์ฅํฉ๋๋ค. ํด๋ผ์ฐ๋์๋ ์ ๋ต์ด ์์ต๋๋ค. ๋ค๋ง ๋ ๋์ ๋ฐฉ๋ฒ์ด ์กด์ฌํ ๋ฟ์ ๋๋ค. ์ฃผ์ด์ง ํ๊ฒฝ์์ ์ฌ๋ฌ๋ถ๋ค๊ป์ ๋ ๋์ ๋ฐฉ๋ฒ์ ํ๊ตฌํ๊ณ ์ฐพ์๋ด์ ์ผ ํฉ๋๋ค. ๋ณธ ๊ฐ์๋ ๊ทธ ๋ฐฉ๋ฒ์ ๋์๋๋ฆด ๊ฒ์ ๋๋ค.
Q. ๋น์ ๊ณต์๋ ๋ค์ ์ ์๋์?
๋ฌผ๋ก ์ ๋๋ค. ์ปดํจํฐ ์ ๊ณต์๊ฐ ์๋์ด๋ AWS ํด๋ผ์ฐ๋ ๊ฒฝํ์ด ์์ผ์๋ค๋ฉด ์ถฉ๋ถํ ์๊ฐํ์ค ์ ์์ต๋๋ค.
๐ก ์ ์ ์ง์ ๋ฐ ์ ์์ฌํญ ์๋ด
ํ์ต ๋์์
๋๊ตฌ์ผ๊น์?
AWS ์ ๋ฌธ์, ์ค/์๊ธ์ ๊ฐ์๋ฅผ ์๋ฃํ์ ๋ถ
AWS ๋ค์ํ ๋ฆฌ์์ค๋ฅผ ์ฌ์ฉํด ํ์ดํ๋ผ์ธ ๊ตฌ์ถ์ ํ๊ณ ์ถ์ผ์ ๋ถ
AWS์ ๋ค์ํ ์ฌ์ฉ ์ฉ๋ก๋ฅผ ๊ฒฝํํด ๋ณด๊ณ ์ถ์ผ์ ๋ถ
์ ์ ์ง์,
ํ์ํ ๊น์?
Python
ํด๋ผ์ฐ๋ ๊ธฐ๋ณธ ์ง์
AWS
5,904
๋ช
์๊ฐ์
280
๊ฐ
์๊ฐํ
156
๊ฐ
๋ต๋ณ
4.7
์
๊ฐ์ ํ์
5
๊ฐ
๊ฐ์
์๋ ํ์ธ์. ์ ๋ ํ๋ถ์ ์์ฌ๋ฅผ ๋ฏธ๊ตญ์์ ๋์์ผ๋ฉฐ ์ ๊ณต์ ๊ฐ๊ฐ Computer Science, Data Science๋ฅผ ๊ณต๋ถํ์์ต๋๋ค. ํ์ฌ ์ ๋ Healthcare์ชฝ ํ์ฌ์ ๋ฐ์ดํฐ ์์ง๋์ด๋ก ์ผํ๊ณ ์์ต๋๋ค. ๋งค์ผ ์ ๊ฐ ํ๋ ์ผ์ ๊ฐ๋จํ๊ฒ ๋ง์๋๋ฆฌ์๋ฉด; AWS์ Airflow๋ฅผ ์ฌ์ฉํ์ฌ ๋งค์ผ ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฌ์ ETL๊ณผ์ ์ ๊ฑฐ์น๋ฉฐ, ๋ฐ์ดํฐ๊ฐ ์ ๋ค์ด์ค๋์ง ๋ชจ๋ํฐ๋งํ๋ฉด์ ๋ฌธ์ ์ ํน์ ๊ฐ์ ์ ์ฌ์ง๊ฐ ํ์ํ ๊ฒฝ์ฐ ํ๋ก๊ทธ๋จ์ ๊ตฌํํ๋ ์ผ์ ํ๊ณ ์์ต๋๋ค. ๋ฐ์ดํฐ ๋ชจ๋ํฐ๋ง์ ์ฃผ๋ก AWS์ CloudWatch์ Splunk๋ผ๋ ํ๋ก๊ทธ๋จ์ ์ฌ์ฉํ๊ณ ์์ต๋๋ค.ํ์ฌ ์ ๊ฐ ํ์ฌ์์ ์ฌ์ฉํ๊ณ ์๋ ๊ธฐ์ ๋ค์ Python, AWS, SQL ๋ฑ๋ฑ์ด๋ฉฐ ์ต๊ทผ์๋ GCP๋ก Migrationํ๊ณ ์๋ ์ถ์ด์ด๋ฉฐ AWS์ GCP๋ฅผ ๋์์ ์ ํ๊ณ ์์ต๋๋ค.
2022๋ ์๋ ํ์ฌ์์ ๊ฑฐ์ 80%์ ๋ฐ์ดํฐ ๋ฐ ํ์ดํ๋ผ์ธ์ด GCP๋ก Migration์ ๋ง์ณค์ผ๋ฉฐ Bigquery & GCS & GKE์ชฝ์ ์ฌ์คํ๊ฒ ๋ค๋ฃจ๊ณ ์์ต๋๋ค. ๋ฌผ๋ก Docker Container & Terraform์ฌ์ฉ์ผ๋ก ์ ๋ฐ์ ์ธ IaC ์์ ๋ ๋ณํํด์ ์งํํ๊ณ ์์ต๋๋ค.
๋ฐ์ดํฐ ์์ง๋์ด๋ก ์ผํ๋ฉด์ ๊ฐ์ฅ ํฌ๊ฒ ๋๋์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค. ๋งค์ผ ์๋ก์ด ๊ธฐ์ ๋ค์ ๋ฑ์ฅ์ผ๋ก ์ธํด ์ง๊ธ ๋ด๊ฐ ์ฌ์ฉํ๊ณ ์๋ ๊ธฐ์ ๋ค์ด ๊ณผ์ฐ obsoleteํด์ง๊น? ๊ทธ๋ ๋ค๋ฉด ๊ทธ ์ด์ ๋ ๋ฌด์์ธ๊ฐ? ์ ๋ง ๊ทธ ๊ธฐ์ ์ด ์ด๊ฑธ๋ก ๋์ฒ๋ ์ ์๋๊ฐ? ๋จ์ ์ ์๋ ๊ฒ์ธ๊ฐ? ๊ทธ๋ ์ต๋๋ค. ์ ๋ชจ๋ ์ง๋ฌธ๋ค์ ๋ํ ๋ต๋ณ์ ์ฐพ๋๊ฒ์ ๋งค์ฐ ํ๋ค์ด ๋ณด์ ๋๋ค. ๊ทธ๋ฌ๋ ๊ทธ ๊ณผ์ ์ ๊ฒช์ผ๋ฉด์ ํ๊ฐ์ง ๊ณตํต์ ์ด ๋ณด์์ต๋๋ค. ๊น๊ฒ ๋ค์ด๊ฐ๋ณด๋ฉด ๊ฑฐ์ ๋๋์์ด ํ๋ค๋ ๊ฒ์ ๋๋ค. ๋ค์ ๋งํด ํ๋๋ฅผ ์ ๋๋ก ํํค์น๋ค๋ฉด ๋ค๋ฅธ ๊ธฐ์ ์ ๋ฐฐ์ฐ๋ ๊ฒ์ ๋ง์ด ์ฉ์ดํด์ง๋ค๋ ๊ฒ์ด์ฃ . ์ ๋ ์ด๋ฐ ๋ฉ์นด๋์ฆ์ ๊ฐ์์์๋ ์ข ์ข ์ธ๊ธ์ ํ๊ณ ์ถ์ต๋๋ค. ์ฌ๋ฌ๋ถ๋ค๊ณผ ํจ๊ป ์ ๊ฐ ํ์ฌ ๊ฐ์ง๊ณ ์๋ ๋ชจ๋ ์ง์๋ค์ ๊ณต์ ํ๊ณ ์ถ์ต๋๋ค. ์ฌ๋ฌ๋ถ๋ค์ ๊ธธ์ก์ด๊ฐ ๋ ์ ์๋๋ก ์ต์ ์ ๋คํ๊ฒ ์ต๋๋ค.
์ ์ฌ์ด๋จผํด์ ์ฌ๋ฌ๋ถ๋ค๊ป ์ฌ๋ฏธ์๊ณ ์ดํดํ๊ธฐ ์ฌ์ด ๊ฐ์๋ฅผ ์ ๋ณด์ผ๊บผ์์. ์ฌ๋ฌ๋ถ๋ค๊ณผ ๋์์์ด ์ํตํ๋ฉด์ ๋ ๋์ ์ฌ๋์ด ๋ ๊ฒ์ ์ฝ์๋๋ฆฌ๊ตฌ์. ์ฌ๋ฌ๋ถ๋ค์ ์ค๋ ฅ์ด ํฅ์๋๋๊ฒ์ ์ง์ผ๋ณด๋ ๊ฒ์ ์ ์ ํฐ ํ๋ณต์ ๋๋ค.
์ ์ฒด
17๊ฐ โ (1์๊ฐ 42๋ถ)
ํด๋น ๊ฐ์์์ ์ ๊ณต: