์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

[๋ฐ๋ธŒ์›์˜] ์•„ํŒŒ์น˜ ์นดํ”„์นด for beginners

์•„ํŒŒ์น˜ ์นดํ”„์นด๋ž€ ๋ฌด์—‡์ผ๊นŒ? ์•„ํŒŒ์น˜ ์นดํ”„์นด๋Š” ์–ด๋–ป๊ฒŒ ๋™์ž‘ํ• ๊นŒ? ์•„ํŒŒ์น˜ ์นดํ”„์นด์˜ ๊ฐœ๋…์€ ๋ฌด์—‡์ด ์žˆ์„๊นŒ? ๊ถ๊ธˆํ•˜์‹œ๋‹ค๋ฉด ์ด ๊ฐ•์˜๋ฅผ ์„ ํƒํ•˜์„ธ์š”๐Ÿ˜Ž

์ดˆ๊ธ‰์ž๋ฅผ ์œ„ํ•ด ์ค€๋น„ํ•œ
[๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง, ๋ฐ์ดํ„ฐ ๋ถ„์„] ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๊ฑธ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์–ด์š”

  • ์นดํ”„์นด ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ

  • ์•„ํŒŒ์น˜ ์นดํ”„์นด ๊ธฐ๋ณธ ๊ฐœ๋…

์•„ํŒŒ์น˜ ์นดํ”„์นด(Apache Kafka), ํ•ต์‹ฌ์„ ์™์™!

์•ˆ๋…•ํ•˜์„ธ์š”, ๋ฐ๋ธŒ์›์˜์ž…๋‹ˆ๋‹ค๐Ÿ–

์•„ํŒŒ์น˜ ์นดํ”„์นด(Apache Kafka)?

์• ํ”Œ, ํŽ˜์ดํŒ”, ์šฐ๋ฒ„, ๋„ทํ”Œ๋ฆญ์Šค, ์Šคํฌํ‹ฐํŒŒ์ด ๋“ฑ
์ˆ˜๋งŽ์€ ๊ธ€๋กœ๋ฒŒ ๊ธฐ์—…์—์„œ ์‚ฌ์šฉํ•˜๋Š”
๋น…๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ๋ถ„์‚ฐ ์ŠคํŠธ๋ฆฌ๋ฐ ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค.

ํฌ์ถ˜ 100๋Œ€ ๊ธฐ์—… 80๊ฐœ ์ด์ƒ์˜ ํšŒ์‚ฌ์—์„œ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ๋Š” ์•„ํŒŒ์น˜ ์นดํ”„์นด๋Š” ๋น…๋ฐ์ดํ„ฐ ์‹œ๋Œ€์˜ ์„œ๋น„์Šค๋ฅผ ์ง€ํƒฑํ•˜๋Š” ํ›Œ๋ฅญํ•œ ์˜คํ”ˆ์†Œ์Šค๋กœ ์ž๋ฆฌ์žก์•˜์Šต๋‹ˆ๋‹ค. ๋ถ„์‚ฐ ์ŠคํŠธ๋ฆฌ๋ฐ ํ”Œ๋žซํผ์œผ๋กœ ์šด์˜๋˜๋Š” ์•„ํŒŒ์น˜ ์นดํ”„์นด๋Š” ๋น…๋ฐ์ดํ„ฐ ํ”Œ๋žซํผ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ MSA(Microservice Architecture) ๊ตฌ์กฐ์˜ ๋ฐฑ์—”๋“œ ์•„ํ‚คํ…์ฒ˜์—์„œ๋„ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.


์™œ ์•„ํŒŒ์น˜ ์นดํ”„์นด๋ฅผ ๋ฐฐ์šฐ๋ฉด ์ข‹์„๊นŒ์š”?

๐Ÿ“š ๊ธฐ์กด AMQP์™€ ๋‹ค๋ฅธ ํŠน์ง•์„ ๊ฐ€์ง„ ์ŠคํŠธ๋ฆฌ๋ฐ ํ”Œ๋žซํผ

๋†’์€ ์ฒ˜๋ฆฌ๋Ÿ‰, ํ™•์žฅ์„ฑ, ์˜์†์„ฑ, ๊ณ ๊ฐ€์šฉ์„ฑ ํŠน์ง•์„ ๊ฐ€์ง„ ์นดํ”„์นด๋Š” ๊ธฐ์กด์˜ AMQP ๊ธฐ๋ฐ˜ ๋ฉ”์‹œ์ง• ํ์™€ ๋‹ค๋ฅธ ํŠน์ง•์„ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ธŒ๋กœ์ปค์— ์ €์žฅํ•œ ๋ฉ”์‹œ์ง• ๋ฐ์ดํ„ฐ๋Š” ์ฒ˜๋ฆฌ ํ›„ ์‚ญ์ œ๋˜์ง€ ์•Š๊ณ  ์ €์žฅ๋˜๊ธฐ ๋•Œ๋ฌธ์— ๋ฐ์ดํ„ฐ๋ฅผ ์žฌ์‚ฌ์šฉํ•˜๋Š”๋ฐ ํŠนํ™”๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

์ด์™ธ์—๋„ ํŒŒํ‹ฐ์…”๋„ˆ, ๋ฆฌํ…์…˜, ISR๊ณผ ๊ฐ™์€ ๊ฐœ๋…๊ณผ ๊ฐ™์€ ์นดํ”„์นด๋งŒ์˜ ํŠน์ง•์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ํŠน์ง•์„ ํ•™์Šตํ•˜๋ฉด ๋”์šฑ ์นดํ”„์นด๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ์‚ฌ์šฉ, ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿš€ ์ŠคํŠธ๋ฆผ ํ”„๋กœ์„ธ์‹ฑ ๊ฐœ๋… ์Šต๋“

ํ”„๋กœ๋“€์„œ, ์ปจ์Šˆ๋จธ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ์„ ํ†ตํ•ด ์นดํ”„์นด์— ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ์ŠคํŠธ๋ฆฌ๋ฐ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์Šต๋“ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์นดํ”„์นด์—์„œ ๊ณต์‹์ ์œผ๋กœ ์ œ๊ณตํ•˜๋Š” ์ŠคํŠธ๋ฆผ์ฆˆDSL, ํ”„๋กœ์„ธ์„œAPI๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ์ŠคํŠธ๋ฆฌ๋ฐ ๋ฐ์ดํ„ฐ ํ”„๋กœ์„ธ์‹ฑ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๋น ๋ฅด๊ฒŒ ๊ฐœ๋ฐœํ•˜๊ณ  ์œ ์—ฐํ•˜๊ฒŒ ์šด์˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. (์ถ”ํ›„ ๊ฐ•์˜ ์—…๋ฐ์ดํŠธ ์˜ˆ์ •)

๐ŸŽฏ ์นดํ”„์นด ํ™•์žฅ ์ƒํƒœ๊ณ„

๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์„ ์œ ์—ฐํ•˜๊ณ  ๋น ๋ฅด๊ฒŒ ๋งŒ๋“ค๊ธฐ ์œ„ํ•ด ์นดํ”„์นด ์ปค๋„ฅํŠธ, ๋ฏธ๋Ÿฌ๋ฉ”์ด์ปค์™€ ๊ฐ™์€ ๊ธฐ์ˆ ์ด ์นดํ”„์นด์— ํฌํ•จ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ๋ฐ˜๋ณต๋œ ์ž‘์—…์€ ์ค„์ด๊ณ  ๋‹ค์–‘ํ•œ ์นดํ”„์นด ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ข…ํ•ฉ ์šด์˜ํ•˜์—ฌ ํšจ๊ณผ์ ์ธ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ํŒŒ์ดํ”„๋ผ์ธ์„ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋˜ํ•œ ์นดํ”„์นด๋ฅผ SaaS๋กœ ์ œ๊ณตํ•˜๋Š” ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด 5๋ถ„ ๋งŒ์— ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ  ์นดํ”„์นด๋ฅผ ํ…Œ์ŠคํŠธํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ PoC(Proof of Concept) ๋ฐ ํ•™์Šต ์šฉ๋„๋กœ ์‚ฌ์šฉํ•ด๋ณด๋Š” ๊ฒƒ๋„ ์ข‹์Šต๋‹ˆ๋‹ค!


์ด ๊ฐ•์˜๋งŒ์˜ ํŠน์ง•

 ์•„ํŒŒ์น˜ ์นดํ”„์นด ์‹ค๋ฌด ๊ฐœ๋ฐœ์ž๊ฐ€ ์•Œ๋ ค์ฃผ๋Š” ๋…ธํ•˜์šฐ 
์•„ํŒŒ์น˜ ์นดํ”„์นด ๊ธฐ๋ณธ ๊ฐœ๋…๋ถ€ํ„ฐ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ๊นŒ์ง€
์นดํ”„์นด์— ๋Œ€ํ•œ ์ค‘์š” ๊ฐœ๋…์„ ๋ฌด๋ฃŒ๋กœ ํ•™์Šตํ•˜๊ณ 
๋”ฐ๋ผํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์นดํ”„์นด ๊ธฐ์ดˆ์นดํ”„์นด ๊ฐœ๋ฐœ - ์นดํ”„์นด์˜ ๋ฏธ๋ž˜

๋‹ค๋ฃจ๋Š” ๊ธฐ์ˆ 

AWS
(์•„๋งˆ์กด ์›น ์„œ๋น„์Šค)

Linux
(๋ฆฌ๋ˆ…์Šค)

Java
(์ž๋ฐ”)

์ด ๊ฐ•์˜๋Š” ๋ฐ๋ธŒ์›์˜ ์œ ํŠœ๋ธŒ ์˜์ƒ๊ณผ ๋™์ผํ•œ ์˜์ƒ์ž…๋‹ˆ๋‹ค.
๋ฐ๋ธŒ์›์˜ ์œ ํŠœ๋ธŒ ์ฑ„๋„ ๋ฐ”๋กœ ๊ฐ€๊ธฐ ๐Ÿ“บ


์นดํ”„์นด๋ฅผ ๋” ์ž์„ธํ•˜๊ฒŒ ๋ฐฐ์šฐ๊ณ  ์‹ถ๋‹ค๋ฉด?

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”!

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ์•„ํŒŒ์น˜ ์นดํ”„์นด ๊ฐœ๋…์„ ์•Œ๊ณ  ์‹ถ์œผ์‹  ๋ถ„

  • ์•„ํŒŒ์น˜ ์นดํ”„์นด๋ฅผ ํ™œ์šฉํ•˜๊ณ  ์‹ถ์œผ์‹  ๋ถ„

์•ˆ๋…•ํ•˜์„ธ์š”
๋ฐ๋ธŒ์›์˜ DVWY์ž…๋‹ˆ๋‹ค.

11,534

๋ช…

์ˆ˜๊ฐ•์ƒ

396

๊ฐœ

์ˆ˜๊ฐ•ํ‰

165

๊ฐœ

๋‹ต๋ณ€

4.9

์ 

๊ฐ•์˜ ํ‰์ 

2

๊ฐœ

๊ฐ•์˜

#Kafka #Streaming #DataEngineer

  • ์นด์นด์˜ค ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด(์ „: SKํ”Œ๋ž˜๋‹›)
  • ์ €์„œ
๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

15๊ฐœ โˆ™ (1์‹œ๊ฐ„ 31๋ถ„)

๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์ „์ฒด

299๊ฐœ

4.9

299๊ฐœ์˜ ์ˆ˜๊ฐ•ํ‰

๋น„์Šทํ•œ ๊ฐ•์˜

๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

์—ฐ๊ด€ ๋กœ๋“œ๋งต

๊ฐ•์˜๊ฐ€ ํฌํ•จ๋œ ๋กœ๋“œ๋งต์œผ๋กœ ํ•™์Šตํ•ด ๋ณด์„ธ์š”!

๋ฌด๋ฃŒ