Inflearn brand logo image
Inflearn brand logo image
์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

AWS(Amazon Web Service) ์‹ค์ „์„ ์œ„ํ•œ ๊ฐ•์˜

AWS ์ž…๋ฌธ์ž, ์ค‘/์ƒ๊ธ‰์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜๋ฅผ ๋‹ค ์ˆ˜๊ฐ•ํ–ˆ์Œ์—๋„ ์•„์ง ๋ญ”๊ฐ€ ๋ถ€์กฑํ•˜๋‹ค๊ณ  ๋А๋ผ์‹œ๋‚˜์š”? AWS ์‹ค์ „์„ ์œ„ํ•œ ๊ฐ•์˜๊ฐ€ ๋ฐ”๋กœ ๊ทธ๋Ÿฐ ๋ถ„๋“ค์„ ์œ„ํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.

Thumbnail

์ค‘๊ธ‰์ž๋ฅผ ์œ„ํ•ด ์ค€๋น„ํ•œ
[๋ฐ๋ธŒ์˜ต์Šค ยท ์ธํ”„๋ผ, ํด๋ผ์šฐ๋“œ] ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๊ฑธ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์–ด์š”

  • Apache Airflow

  • AWS Batch

  • AWS ECR

  • AWS Athena

  • AWS Glue

์‹ค์ „ ์ค‘์‹ฌ! AWS ์‘์šฉ์˜ ์™„๊ฒฐํŒ.

ํ˜„์—…์—์„œ AWS๋ฅผ ์–ด๋–ป๊ฒŒ ์‚ฌ์šฉํ•˜๋Š”์ง€ ๊ณ ๋ฏผ์ด์‹ ๊ฐ€์š”?

๐Ÿค” AWS ์ž…๋ฌธ์ž/์ค‘์ƒ๊ธ‰์ž ๊ฐ•์˜๋ฅผ ๋งˆ์ณค์ง€๋งŒ ์•„์ง 1%๊ฐ€ ๋ถ€์กฑํ•œ ๊ฒƒ ๊ฐ™์•„์š”.

๐Ÿ˜Ž AWS ์‡ผ์ผ€์ด์Šค๋ฅผ ํ†ตํ•ด ํšŒ์‚ฌ์—์„œ ์Šน์ง„์„ ๋…ธ๋ฆฌ๊ณ  ์žˆ์–ด์š”.

๐Ÿ˜€ AWS์—์„œ ์ œ๊ณตํ•˜๋Š” ๋ฆฌ์†Œ์Šค๋กœ ๋‹ค์–‘ํ•œ ํŒŒ์ดํ”„๋ผ์ธ์„ ๊ตฌ์ถ•ํ•˜๊ณ  ์‹ถ์–ด์š”.

๐Ÿฅบ AWS์˜ ๋‹ค์–‘ํ•œ ์šฉ๋ก€๋ฅผ ์ฒดํ—˜ํ•ด๋ณด๊ณ  ์‹ถ์–ด์š”.

๐Ÿค“ ํด๋ผ์šฐ๋“œ์˜ ์„ธ๊ณ„๋กœ ๋” ๊นŠ์ด ๋น ์ง€๊ณ  ์‹ถ์–ด์š”.

๐Ÿ‘‰ AWS ์‹œ๋ฆฌ์ฆˆ์˜ ์ข…์ฐฉ์—ญ! ์—ฌ๋Ÿฌ๋ถ„์˜ ๊ณ ๋ฏผ์— ํ•ด๊ฒฐ์ฑ…์„ ์ œ์‹œํ•ด๋“œ๋ฆฝ๋‹ˆ๋‹ค.

AWS ์‹ค์ „ํŽธ์„ ์œ„ํ•œ ๊ฐ•์˜๋Š” ์šฐ์„  AWS ์ž…๋ฌธ์ž, ์ค‘/์ƒ๊ธ‰์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜๋ฅผ ์‚ฌ๋ž‘ํ•ด์ฃผ์‹œ๋Š” ์—ฌ๋Ÿฌ๋ถ„๋“ค์ด ๊ณ„์‹œ์ง€ ์•Š์•˜๋‹ค๋ฉด ์ƒ๊ธธ ์ˆ˜ ์—†์—ˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„๋“ค์˜ ์—ด๋ ฌํ•œ ์‘์›๊ณผ ์ง€์ง€ ๋•ํƒ์— ์ด ๊ฐ•์˜๊ฐ€ ์ƒ๊ฒผ๋‹ค๊ณ  ํ•ด๋„ ๊ณผ์–ธ์ด ์•„๋‹™๋‹ˆ๋‹ค.

AWS๋ฅผ ์‹ค์ „์—์„œ ๋น ๋ฅด๊ฒŒ ์‘์šฉํ•˜๊ณ  ์‹ถ์€ ๋ถ„๋“ค์„ ์œ„ํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.

๋ณธ ๊ฐ•์˜๋Š” ํ˜„์—…์—์„œ ์—”์ง€๋‹ˆ์–ด๋“ค์ด ์–ด๋–ป๊ฒŒ AWS๋ฅผ ์‚ฌ์šฉํ•ด์„œ ETL ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ•, ๋„์ปค ์ปจํ…Œ์ด๋„ˆ, Airflow ์Šค์ผ€์ฅด๋Ÿฌ ๊ตฌ์ถ•์„ ํ•˜๋Š”์ง€์— ๋Œ€ํ•œ ๊ฐ„์ ‘์ ์ธ ๊ฒฝํ—˜์„ ํ•˜์‹ค ์ˆ˜ ์žˆ๋„๋ก ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ œ๋ชฉ์—์„œ ์•„์‹ค ์ˆ˜ ์žˆ๋“ฏ ๊ฐœ๋… ์ •๋ฆฌ๋Š” ์ตœ์†Œํ™”ํ•˜๊ณ , ์‹ค์Šต ์œ„์ฃผ๋กœ ์ง„ํ–‰ํ•ฉ๋‹ˆ๋‹ค.

ํ•˜๋‚˜์˜ ์„น์…˜ ๋‹น ์ˆ˜์—… ๊ธธ์ด๋Š” ์งง๊ฒŒ๋Š” 30๋ถ„, ๊ธธ๊ฒŒ๋Š” 1์‹œ๊ฐ„ ์ •๋„ ์†Œ์š”๋ฉ๋‹ˆ๋‹ค. ๊ตฐ๋”๋”๊ธฐ๋Š” ๋ชจ๋‘ ๋นผ๊ณ  ์ค‘์š”ํ•œ ๋‚ด์šฉ๋งŒ ๋‹ด์•„ ์†์„ฑ์œผ๋กœ ์—ฌ๋Ÿฌ๋ถ„๋“ค์—๊ฒŒ ์ „๋‹ฌํ•˜๊ธฐ ์œ„ํ•จ์ž…๋‹ˆ๋‹ค. 

AWS๋ฅผ ๋นจ๋ฆฌ ์‘์šฉํ•ด์„œ ์‚ฌ์šฉํ•˜๊ณ  ์‹ถ์œผ์‹  ๋ถ„, AWS ์ž…๋ฌธ์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜๋ฅผ ๋“ฃ๊ณ  ๋” ๊นŠ๊ฒŒ ํด๋ผ์šฐ๋“œ๋ฅผ ํŒŒํ—ค์ณ๋ณด๊ณ  ์‹ถ์€ ๋ถ„๋“ค๊ป˜ ์ ๊ทน ์ถ”์ฒœ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

์‹ค๋ฌด์—์„œ ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ์˜ˆ์™ธ ์ƒํ™ฉ์— ๋Œ€ํ•œ ํ•ด๊ฒฐ์ฑ…์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.

๊ฐ•์˜ ์ œ์ž‘ ๊ณผ์ •์— ์žˆ์–ด ์‹ ๊ฒฝ์„ ๋งŽ์ด ์“ด ๋ถ€๋ถ„ ์ค‘ ํ•˜๋‚˜๋Š” ํŠธ๋Ÿฌ๋ธ”์ŠˆํŒ…(Troubleshooting) ์„น์…˜์ž…๋‹ˆ๋‹ค. ์ œ๊ฐ€ AWS๋ฅผ ๋Œ๋ฆฌ๋Š” ํ™˜๊ฒฝ(์šด์˜์ฒด์ œ, ํ™˜๊ฒฝ์„ค์ • ๋“ฑ)์€ ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ณผ ํ•ญ์ƒ ๊ฐ™์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋•Œ๋ฌธ์— ์ €๋Š” ์ž˜ ๋Œ์•„๊ฐ€๋”๋ผ๋„ ์—ฌ๋Ÿฌ๋ถ„์€ ์—๋Ÿฌ๊ฐ€ ๋œจ๋Š” ๋ถ€๋ถ„์ด ์žˆ์„ ๊ฑฐ๋ผ ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋“  ์—๋Ÿฌ๋ฅผ ๋‹ค ์„ค๋ช…๋“œ๋ฆฌ๋Š” ๊ฑด ๋ถˆ๊ฐ€๋Šฅํ•˜์ง€๋งŒ, ์ข…์ข… ๋ฐœ์ƒํ•˜๋Š” ์—๋Ÿฌ๋ฅผ ๋ชจ์•„ ์–ด๋–ป๊ฒŒ ์—ฌ๋Ÿฌ๋ถ„๋“ค์ด ์ง์ ‘ ๋ฌธ์ œ ํ•ด๊ฒฐ์„ ํ•  ์ˆ˜ ์žˆ์„์ง€์— ๋Œ€ํ•œ ๊ณ ๋ฏผ์„ ๋งŽ์ด ํ•ด๋ดค์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ํ•ด๋‹น ์„น์…˜์„ ๋งŒ๋“ค๊ฒŒ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

๊ฐ•์˜๋ฅผ ๋งŒ๋“ค๋•Œ '๋‚˜๋Š” ์ž˜ ๋Œ์•„๊ฐ€๋Š”๋ฐ ๋‹ค๋ฅธ ๋ถ„๋“ค์€ ์ด๋Ÿฐ ์—๋Ÿฌ๊ฐ€ ๋œจ์ง€ ์•Š์„๊นŒ?' ๋ผ๋Š” ์ƒ๊ฐ์„ ๊ฐ€์ง€๋ฉฐ ๊ทธ๋•Œ๊ทธ๋•Œ ๊ฐ€๋Šฅ์„ฑ ๋†’์€ ์˜ˆ์™ธ ์ƒํ™ฉ๋“ค์„ ์ •๋ฆฌํ•˜๊ณ  ๊ทธ์— ๋Œ€ํ•œ ํ•ด๊ฒฐ์ฑ…์„ ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ป˜ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. 

๊ทธ๋ž˜์„œ, ํ•™์Šต ํ›„์—๋Š”...

  • โœ… AWS๋ฅผ ์ž์œ ์ž์žฌ๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • โœ… ์–ธ์ œ ์–ด๋””์„œ ์–ด๋–ค ๋ฆฌ์†Œ์Šค๋ฅผ ์–ด๋–ป๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š”์ง€์— ๋Œ€ํ•œ ๊ฐ๊ฐ์ด ์ƒ๊น๋‹ˆ๋‹ค.
  • โœ… ๋˜ํ•œ ์ƒํ™ฉ์— ๋งž๊ฒŒ ์žฅ๋‹จ์ ์„ ๋”ฐ์งˆ ์ˆ˜ ์žˆ๋Š” ๋Šฅ๋ ฅ๋„ ์ƒ๊น๋‹ˆ๋‹ค.
  • โœ… ํด๋ผ์šฐ๋“œ์— ๋Œ€ํ•œ ์ดํ•ด๋ ฅ์ด ๋†’์•„์ง‘๋‹ˆ๋‹ค.

Simon Kim์ด ๋งŒ๋“  AWS ์‹œ๋ฆฌ์ฆˆ์˜ ์ข…์ฐฉ์—ญ

๋ณธ ๊ฐ•์˜๋Š” ์‹ค์Šต 90%, ์ด๋ก  10%๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์„ ์ˆ˜์ง€์‹์€ AWS ์ž…๋ฌธ์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค. ์ค‘/์ƒ๊ธ‰์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜๋Š” ์„ ํƒ ์‚ฌํ•ญ์ด๋ฉฐ, ์‹ค์ „ํŽธ์„ ์œ„ํ•œ ๊ฐ•์˜์™€ ํ•จ๊ป˜ ์‹œ์ฒญํ•˜์…”๋„ ๋ฌด๋ฆฌ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.

AWS ์‹ค์ „ํŽธ์„ ์œ„ํ•œ ๊ฐ•์˜๋Š” AWS ์‹œ๋ฆฌ์ฆˆ์˜ ์ข…์ฐฉ์—ญ์ž…๋‹ˆ๋‹ค. ์‹ค์ „ํŽธ์„ ์™„๊ฐ•ํ•˜์…จ๋‹ค๊ณ  ํ•ด์„œ AWS์˜ ๋ชจ๋“  ๊ฒƒ์„ ๋‹ค ์ดํ•ดํ•œ๋‹ค๊ณ  ํ•  ์ˆœ ์—†์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์—ฌ๋Ÿฌ๋ถ„๋“ค์ด ์•ž์œผ๋กœ AWS๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ์ƒˆ๋กœ์šด ๊ธฐ์ˆ ์„ ๋ฐฐ์šฐ์‹ค ๋•Œ ํฐ ๋„์›€์ด ๋  ๊ฑฐ๋ผ ํ™•์‹ ํ•ฉ๋‹ˆ๋‹ค. 

์‹œ๋ฆฌ์ฆˆ ์„ ์ˆ˜ ๊ณผ์ •์„ ํ™•์ธํ•ด๋ณด์„ธ์š”.


ํ•™์Šต ๋‚ด์šฉ ๋ฏธ๋ฆฌ๋ณด๊ธฐ

1. AWS์™€ Airflow์˜ ๋งŒ๋‚จ

Airflow๋ฅผ AWS์—์„œ ๋Œ๋ฆด ์ˆ˜ ์žˆ๋ƒ๊ตฌ์š”? ๊ทธ๋ ‡์Šต๋‹ˆ๋‹ค. AWS์™€ Airflow๋ฅผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•ด์„œ AWS ๋ฆฌ์†Œ์Šค์˜ ๋„์›€์œผ๋กœ ๋”์šฑ ๋‹ค์–‘ํ•œ ํŒŒ์ดํ”„๋ผ์ธ์„ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

(1) ์ธ์Šคํ„ด์Šค ์ƒ์„ฑ ํ›„ Airflow๋ฅผ ๋Œ๋ฆฌ๊ธฐ ์œ„ํ•ด ํ•„์š”ํ•œ ํŒจํ‚ค์ง€๋ฅผ ์„ค์น˜ํ•ฉ๋‹ˆ๋‹ค.

(2) Airflow ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋ฅผ ๋งŒ๋“ค๊ณ  ์‚ฌ์šฉ์ž ์ƒ์„ฑ์„ ํ•ฉ๋‹ˆ๋‹ค.

(3) Airflow DAG๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค.

2. AWS Batch & ECR

๋ฐฐ์น˜ ์žก๊ณผ ํ๋ฅผ ์ƒ์„ฑํ•˜๊ณ  ECR์— ํ‘ธ์‹œํ•œ ์ด๋ฏธ์ง€๋ฅผ ์‹คํ–‰ํ•˜๋Š” ์‹ค์Šต์„ ํ•ฉ๋‹ˆ๋‹ค. AWS Batch๋Š” ์ž…๋ฌธ์ž, ์ค‘/์ƒ๊ธ‰์ž ๊ฐ•์˜์—์„œ ๋‹ค๋ฃจ์ง€ ์•Š์•˜๊ธฐ ๋•Œ๋ฌธ์— ์ด๋ฒˆ ์„น์…˜์—์„œ ์งง๊ฒŒ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค.

(1) ๋„์ปค ์ด๋ฏธ์ง€๋ฅผ ๋ณด๊ด€ํ•  ECR ๋ฆฌํฌ์ง€ํ† ๋ฆฌ๋ฅผ ๋งŒ๋“ญ๋‹ˆ๋‹ค.

(2) ๋„์ปค ์ด๋ฏธ์ง€๋ฅผ ์ƒ์„ฑํ•˜๊ณ  ECR ๋ฆฌํฌ์— ์ด๋ฏธ์ง€๋ฅผ ํ‘ธ์‹œํ•ฉ๋‹ˆ๋‹ค.

(3) ๋ฐฐ์น˜ ์žก(Job)๊ณผ ํ(Queue)๋ฅผ ์ƒ์„ฑํ•˜๊ณ  ์žก์„ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค.

3. ETL ํŒŒ์ดํ”„๋ผ์ธ

AWS ๋ฆฌ์†Œ์Šค(S3, Glue, Athena)๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐ„๋‹จํ•œ ETL ํŒŒ์ดํ”„๋ผ์ธ์„ ๊ตฌ์ถ•ํ•ด๋ด…๋‹ˆ๋‹ค.

(1) ๋กœ์šฐ๋ฐ์ดํ„ฐ(raw data)๊ฐ€ ๋“ค์–ด๊ฐˆ ๋ฒ„ํ‚ท์„ ๋งŒ๋“ค๊ณ  ๋ฐ์ดํ„ฐ๋ฅผ ๋ณด๊ด€ํ•  Athena ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค.

(2) ๊ธ€๋ฃจ ํฌ๋กค๋Ÿฌ(Glue Crawler)๋ฅผ ๋งŒ๋“ค์–ด ๋กœ์šฐ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.

(3) Athena์—์„œ ๋ฐ์ดํ„ฐ ๊ฒ€์ฆ๊ณผ์ •์„ ๊ฑฐ์นฉ๋‹ˆ๋‹ค.


Q&A ๐Ÿ’ฌ

Q. ์ด ๊ฐ•์˜๋ฅผ ๋“ค์–ด์•ผ ํ•˜๋Š” ์ด์œ ๋Š” ๋ฌด์—‡์ธ๊ฐ€์š”?

์ด์ œ๋Š” IT์‚ฐ์—… ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๋‹ค์–‘ํ•œ ๊ณณ์—์„œ ํด๋ผ์šฐ๋“œ๊ฐ€ ์–ธ๊ธ‰๋˜๊ณ  ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ ์ธํ”„๋ผ๋Š” ์ด์ œ ์‹ค์ƒํ™œ์—์„œ ๋–ผ๋ ค์•ผ ๋—„ ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ๋น…๋ฐ์ดํ„ฐ ์‹œ๋Œ€์— ์‚ด๊ณ  ์žˆ๋Š” ์šฐ๋ฆฌ๋“ค์€ ๋งค์ผ ์ˆ˜๋งŽ์€ ๋ฐ์ดํ„ฐ๋ฅผ ์ƒ์‚ฐํ•˜๊ณ  ์ฒ˜๋ฆฌํ•˜๋ฉฐ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๊ฒฐ์ฝ” ์‚ฌ๋žŒ์ด ๋ชจ๋‘ ํ•ด๋‚ผ ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ์˜ ๋„์›€์„ ๋ฐ›์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค. AWS๊ฐ€ ๋ฐ”๋กœ ๊ทธ ์—ญํ• ์„ ๋‹ด๋‹นํ•ฉ๋‹ˆ๋‹ค.

AWS ์‹ค์ „์„ ์œ„ํ•œ ๊ฐ•์˜๋Š” ์‹ค์ œ ํ˜„์—…์—์„œ ์ข…์ข… ์‚ฌ์šฉ๋˜๋Š” ์•„ํ‚คํ…์ณ๋“ค์„ ๋ช‡๊ฐ€์ง€ ์†Œ๊ฐœํ•˜๋ฉฐ ์—ฌ๋Ÿฌ๋ถ„๋“ค์ด ๋”ฐ๋ผ์„œ ์‹ค์Šต์„ ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ•์˜๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ์‹ค์Šต์„ ๋”ฐ๋ผํ•˜์‹œ๋ฉด์„œ ์™œ ์—ฌ๊ธฐ์„œ ์ด๋Ÿฐ ๋ฆฌ์†Œ์Šค๊ฐ€ ์‚ฌ์šฉ๋˜๋ฉฐ ๋” ๋‚˜์€ ๋ฐฉ๋ฒ•์€ ์—†๋Š”์ง€ ์Šค์Šค๋กœ์—๊ฒŒ ์งˆ๋ฌธ์„ ๋˜์ง€๋ฉด์„œ ๊ฐ•์˜๋ฅผ ๋”ฐ๋ผ์˜ค์‹œ๋Š” ๊ฒƒ์„ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ์—๋Š” ์ •๋‹ต์ด ์—†์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๋” ๋‚˜์€ ๋ฐฉ๋ฒ•์ด ์กด์žฌํ•  ๋ฟ์ž…๋‹ˆ๋‹ค. ์ฃผ์–ด์ง„ ํ™˜๊ฒฝ์—์„œ ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ป˜์„œ ๋” ๋‚˜์€ ๋ฐฉ๋ฒ•์„ ํƒ๊ตฌํ•˜๊ณ  ์ฐพ์•„๋‚ด์…”์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋ณธ ๊ฐ•์˜๋Š” ๊ทธ ๋ฐฉ๋ฒ•์„ ๋„์™€๋“œ๋ฆด ๊ฒƒ์ž…๋‹ˆ๋‹ค.

Q. ๋น„์ „๊ณต์ž๋„ ๋“ค์„ ์ˆ˜ ์žˆ๋‚˜์š”?

๋ฌผ๋ก ์ž…๋‹ˆ๋‹ค. ์ปดํ“จํ„ฐ ์ „๊ณต์ž๊ฐ€ ์•„๋‹ˆ์–ด๋„ AWS ํด๋ผ์šฐ๋“œ ๊ฒฝํ—˜์ด ์žˆ์œผ์‹œ๋‹ค๋ฉด ์ถฉ๋ถ„ํžˆ ์ˆ˜๊ฐ•ํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


์ˆ˜๊ฐ• ์ „ ํ™•์ธํ•ด์ฃผ์„ธ์š” ๐Ÿ“ข

์‹ค์Šต์„ ์œ„ํ•œ OS ๋ฐ ๋„๊ตฌ

  • Windows/macOS์—์„œ ์ˆ˜๊ฐ•ํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • AWS ๊ณ„์ • ์ƒ์„ฑ์„ ๋งˆ์น˜์‹  ํ›„ ๊ฐ•์˜๋ฅผ ์ˆ˜๊ฐ•ํ•˜์‹œ๋Š” ๊ฒƒ์„ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค.

ํ•™์Šต ์ž๋ฃŒ 

  • ์‹ค์Šต ์‹œ ์‚ฌ์šฉ๋˜๋Š” ๋ช…๋ น์–ด๋ฅผ ์ •๋ฆฌํ•œ ํ…์ŠคํŠธ ํŒŒ์ผ ๋ฐ ํŒŒ์ด์ฌ ์ฝ”๋“œ ํŒŒ์ผ ๋“ฑ์ด ํ•™์Šต ์ž๋ฃŒ๋กœ ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค.
  • ์ˆ˜์—… ์ „ํ›„ ์ฝ์–ด๋ณด๋ฉด ์œ ์šฉํ•œ ๋งํฌ๋“ค์€ ๊ฐ•์˜ ๊ฒŒ์‹œํŒ์—์„œ ํ™•์ธํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ’ก ์„ ์ˆ˜ ์ง€์‹ ๋ฐ ์œ ์˜์‚ฌํ•ญ ์•ˆ๋‚ด

  • ๋ณธ ๊ฐ•์˜๋Š” ์‹ค์ „์„ ์œ„ํ•œ ๊ฐ•์˜๋กœ, AWS ์ž…๋ฌธ์ž ๋ถ„๊ป˜๋Š” ์ ํ•ฉํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. AWS ๋ฐ ํด๋ผ์šฐ๋“œ ๊ฒฝํ—˜์ด ์ „ํ˜€ ์—†์œผ์‹œ๋‹ค๋ฉด ์‹œ๋ฆฌ์ฆˆ AWS ์ž…๋ฌธ์ž๋ฅผ ์œ„ํ•œ ๊ฐ•์˜๋ฅผ ๋จผ์ € ํ•™์Šตํ•˜์‹œ๋Š” ๊ฒƒ์„ ์ ๊ทน ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค. (AWS ์ค‘/์ƒ๊ธ‰์ž ๊ฐ•์˜์™€ ๋ณ‘ํ–‰ํ•ด์„œ ์ˆ˜๊ฐ•ํ•˜์‹œ๋Š” ๊ฒƒ์€ ๊ดœ์ฐฎ์Šต๋‹ˆ๋‹ค.)
  • ์‹ค์Šต์„ ๋”ฐ๋ผํ•  ๋•Œ ํ•„์š”ํ•œ ํŒŒ์ผ์€ ์ˆ˜์—… ์ฒจ๋ถ€ํŒŒ์ผ์„ ๋‹ค์šด๋กœ๋“œ๋ฐ›์•„ ์‚ฌ์šฉํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๊ฐ•์˜ ๋‚ด์šฉ์„ ํผ๊ฐ€์‹ค ๊ฒฝ์šฐ ์ถœ์ฒ˜๋ฅผ ๋ฐํ˜€์ฃผ์‹œ๋ฉด ๊ฐ์‚ฌํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”!

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • AWS ์ž…๋ฌธ์ž, ์ค‘/์ƒ๊ธ‰์ž ๊ฐ•์˜๋ฅผ ์ˆ˜๋ฃŒํ•˜์‹  ๋ถ„

  • AWS ๋‹ค์–‘ํ•œ ๋ฆฌ์†Œ์Šค๋ฅผ ์‚ฌ์šฉํ•ด ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ•์„ ํ•˜๊ณ  ์‹ถ์œผ์‹  ๋ถ„

  • AWS์˜ ๋‹ค์–‘ํ•œ ์‚ฌ์šฉ ์šฉ๋ก€๋ฅผ ๊ฒฝํ—˜ํ•ด ๋ณด๊ณ  ์‹ถ์œผ์‹  ๋ถ„

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • Python

  • ํด๋ผ์šฐ๋“œ ๊ธฐ๋ณธ ์ง€์‹

  • AWS

์•ˆ๋…•ํ•˜์„ธ์š”
Sungmin Kim์ž…๋‹ˆ๋‹ค.

5,904

๋ช…

์ˆ˜๊ฐ•์ƒ

280

๊ฐœ

์ˆ˜๊ฐ•ํ‰

156

๊ฐœ

๋‹ต๋ณ€

4.7

์ 

๊ฐ•์˜ ํ‰์ 

5

๊ฐœ

๊ฐ•์˜

์•ˆ๋…•ํ•˜์„ธ์š”. ์ €๋Š” ํ•™๋ถ€์™€ ์„์‚ฌ๋ฅผ ๋ฏธ๊ตญ์—์„œ ๋‚˜์™”์œผ๋ฉฐ ์ „๊ณต์€ ๊ฐ๊ฐ Computer Science, Data Science๋ฅผ ๊ณต๋ถ€ํ•˜์˜€์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ์ €๋Š” Healthcare์ชฝ ํšŒ์‚ฌ์˜ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋กœ ์ผํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋งค์ผ ์ œ๊ฐ€ ํ•˜๋Š” ์ผ์„ ๊ฐ„๋‹จํ•˜๊ฒŒ ๋ง์”€๋“œ๋ฆฌ์ž๋ฉด; AWS์™€ Airflow๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋งค์ผ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถˆ๋Ÿฌ์™€ ETL๊ณผ์ •์„ ๊ฑฐ์น˜๋ฉฐ, ๋ฐ์ดํ„ฐ๊ฐ€ ์ž˜ ๋“ค์–ด์˜ค๋Š”์ง€ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๋ฉด์„œ ๋ฌธ์ œ์  ํ˜น์€ ๊ฐœ์„ ์˜ ์—ฌ์ง€๊ฐ€ ํ•„์š”ํ•œ ๊ฒฝ์šฐ ํ”„๋กœ๊ทธ๋žจ์„ ๊ตฌํ˜„ํ•˜๋Š” ์ผ์„ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๋ชจ๋‹ˆํ„ฐ๋ง์€ ์ฃผ๋กœ AWS์˜ CloudWatch์™€ Splunk๋ผ๋Š” ํ”„๋กœ๊ทธ๋žจ์„ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.ํ˜„์žฌ ์ œ๊ฐ€ ํšŒ์‚ฌ์—์„œ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ๋Š” ๊ธฐ์ˆ ๋“ค์€ Python, AWS, SQL ๋“ฑ๋“ฑ์ด๋ฉฐ ์ตœ๊ทผ์—๋Š” GCP๋กœ Migrationํ•˜๊ณ  ์žˆ๋Š” ์ถ”์ด์ด๋ฉฐ AWS์™€ GCP๋ฅผ ๋™์‹œ์— ์ ‘ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

2022๋…„์—๋Š” ํšŒ์‚ฌ์—์„œ ๊ฑฐ์˜ 80%์˜ ๋ฐ์ดํ„ฐ ๋ฐ ํŒŒ์ดํ”„๋ผ์ธ์ด GCP๋กœ Migration์„ ๋งˆ์ณค์œผ๋ฉฐ Bigquery & GCS & GKE์ชฝ์„ ์‹ฌ์˜คํ•˜๊ฒŒ ๋‹ค๋ฃจ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฌผ๋ก  Docker Container & Terraform์‚ฌ์šฉ์œผ๋กœ ์ „๋ฐ˜์ ์ธ IaC ์ž‘์—…๋„ ๋ณ‘ํ–‰ํ•ด์„œ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋กœ ์ผํ•˜๋ฉด์„œ ๊ฐ€์žฅ ํฌ๊ฒŒ ๋А๋‚€์ ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๋งค์ผ ์ƒˆ๋กœ์šด ๊ธฐ์ˆ ๋“ค์˜ ๋“ฑ์žฅ์œผ๋กœ ์ธํ•ด ์ง€๊ธˆ ๋‚ด๊ฐ€ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ๋Š” ๊ธฐ์ˆ ๋“ค์ด ๊ณผ์—ฐ obsoleteํ•ด์งˆ๊นŒ? ๊ทธ๋ ‡๋‹ค๋ฉด ๊ทธ ์ด์œ ๋Š” ๋ฌด์—‡์ธ๊ฐ€? ์ •๋ง ๊ทธ ๊ธฐ์ˆ ์ด ์ด๊ฑธ๋กœ ๋Œ€์ฒ˜๋  ์ˆ˜ ์žˆ๋Š”๊ฐ€? ๋‹จ์ ์€ ์—†๋Š” ๊ฒƒ์ธ๊ฐ€? ๊ทธ๋ ‡์Šต๋‹ˆ๋‹ค. ์ € ๋ชจ๋“  ์งˆ๋ฌธ๋“ค์— ๋Œ€ํ•œ ๋‹ต๋ณ€์„ ์ฐพ๋Š”๊ฒƒ์€ ๋งค์šฐ ํž˜๋“ค์–ด ๋ณด์ž…๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๊ทธ ๊ณผ์ •์„ ๊ฒช์œผ๋ฉด์„œ ํ•œ๊ฐ€์ง€ ๊ณตํ†ต์ ์ด ๋ณด์˜€์Šต๋‹ˆ๋‹ค. ๊นŠ๊ฒŒ ๋“ค์–ด๊ฐ€๋ณด๋ฉด ๊ฑฐ์˜ ๋Œ€๋™์†Œ์ด ํ•˜๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋‹ค์‹œ ๋งํ•ด ํ•˜๋‚˜๋ฅผ ์ œ๋Œ€๋กœ ํŒŒํ—ค์นœ๋‹ค๋ฉด ๋‹ค๋ฅธ ๊ธฐ์ˆ ์„ ๋ฐฐ์šฐ๋Š” ๊ฒƒ์€ ๋งŽ์ด ์šฉ์ดํ•ด์ง„๋‹ค๋Š” ๊ฒƒ์ด์ฃ . ์ €๋Š” ์ด๋Ÿฐ ๋ฉ”์นด๋‹ˆ์ฆ˜์„ ๊ฐ•์˜์—์„œ๋„ ์ข…์ข… ์–ธ๊ธ‰์„ ํ•˜๊ณ  ์‹ถ์Šต๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ณผ ํ•จ๊ป˜ ์ œ๊ฐ€ ํ˜„์žฌ ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๋ชจ๋“  ์ง€์‹๋“ค์„ ๊ณต์œ ํ•˜๊ณ  ์‹ถ์Šต๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„๋“ค์˜ ๊ธธ์žก์ด๊ฐ€ ๋  ์ˆ˜ ์žˆ๋„๋ก ์ตœ์„ ์„ ๋‹คํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

์ € ์‚ฌ์ด๋จผํ‚ด์€ ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ป˜ ์žฌ๋ฏธ์žˆ๊ณ  ์ดํ•ดํ•˜๊ธฐ ์‰ฌ์šด ๊ฐ•์˜๋ฅผ ์„ ๋ณด์ผ๊บผ์—์š”. ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ณผ ๋Š์ž„์—†์ด ์†Œํ†ตํ•˜๋ฉด์„œ ๋” ๋‚˜์€ ์‚ฌ๋žŒ์ด ๋  ๊ฒƒ์„ ์•ฝ์†๋“œ๋ฆฌ๊ตฌ์š”. ์—ฌ๋Ÿฌ๋ถ„๋“ค์˜ ์‹ค๋ ฅ์ด ํ–ฅ์ƒ๋˜๋Š”๊ฒƒ์„ ์ง€์ผœ๋ณด๋Š” ๊ฒƒ์€ ์ €์˜ ํฐ ํ–‰๋ณต์ž…๋‹ˆ๋‹ค.

์ง‘ํ•„์ €์„œ: ์—…๋ฌด์— ๋ฐ”๋กœ ์“ฐ๋Š” AWS ์ž…๋ฌธ

 

๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

17๊ฐœ โˆ™ (1์‹œ๊ฐ„ 42๋ถ„)

ํ•ด๋‹น ๊ฐ•์˜์—์„œ ์ œ๊ณต:

์ˆ˜์—…์ž๋ฃŒ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์•„์ง ์ถฉ๋ถ„ํ•œ ํ‰๊ฐ€๋ฅผ ๋ฐ›์ง€ ๋ชปํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.
๋ชจ๋‘์—๊ฒŒ ๋„์›€์ด ๋˜๋Š” ์ˆ˜๊ฐ•ํ‰์˜ ์ฃผ์ธ๊ณต์ด ๋˜์–ด์ฃผ์„ธ์š”!