๋ณธ ๊ฐ์๋ Kaggle์ Home Credit Default Risk ๊ฒฝ์ฐ๋ํ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ๊ตฌํ์ ํตํด, ์ฌ๋ฌ๋ถ์ ์ค์ ์ ์ธ ๋จธ์ ๋ฌ๋ ๊ตฌ์ถ ์ ๋ฌธ๊ฐ๋ก ํ๋จ๊ณ ์ค๋ ฅ์ ์ ๊ทธ๋ ์ด๋ ํ ์ ์๋๋ก ๋ง๋ค์ด์ง ๊ฐ์ ์ ๋๋ค.
์บ๊ธ์ ์ค์ ๊ฒฝ์ฐ ๋ํ ๋ฌธ์ ๋ฅผ ์ ํ๋ฉด์ ๋จธ์ ๋ฌ๋ ์ค์ ๊ตฌํ ๋ฅ๋ ฅ์ ์ ๊ทธ๋ ์ด๋
์ค๋ฌด์ ๋จธ์ ๋ฌ๋์ ์ ์ฉํ ์ ์๋ ์์ค์ผ๋ก ๊ตฌํ ๋ฅ๋ ฅ ์ ๊ทธ๋ ์ด๋
๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ์ฑ๋ฅ ๊ฐ์ ๋ฐฉ๋ฒ
๋จธ์ ๋ฌ๋์ ์ํ ๋ฐ์ดํฐ ๋ถ์ ๋ฅ๋ ฅ ํฅ์
๋จธ์ ๋ฌ๋ Feature Engineering์ ๊ตฌ์ฒด์ ์ธ ๊ตฌํ ๋ฐฉ๋ฒ
๋จธ์ ๋ฌ๋, ์ค์ ๊ตฌํ ๋ฅ๋ ฅ๊น์ง ๋ ๋ ํ๊ฒ!
์ง์ ๊ฒฝ์ฐ๋ํ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ๊ตฌํํด๋ณด์ธ์.
์๋ ํ์ญ๋๊น,
ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋์ ์ ์ ๊ถ์ฒ ๋ฏผ ์ ๋๋ค.
์ค๋ฌด์์ ํ์๋ก ํ๋ ์ง์ ํ ๋จธ์ ๋ฌ๋ ์ ๋ฌธ๊ฐ๊ฐ ๋๊ธฐ ์ํด์๋ ๋จธ์ ๋ฌ๋์ ๋ํ ์ดํด๋ฟ๋ง ์๋๋ผ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฅ๋ ฅ, ์ ์ฉ ์ ๋ฌด์ ์ดํด ๋ฅ๋ ฅ๋ค์ ํจ๊ป ๊ฐ์ถ๊ณ ์์ด์ผ ํฉ๋๋ค. ํ์ง๋ง ์ด๋ฌํ ๋ฅ๋ ฅ๋ค์ ์ค์ ์ ์ผ๋ก ๊ฒฝํํด ๋ณด์ง ์๊ฑฐ๋ ๊ณํ์ ์ผ๋ก ํ๋ จ๋์ง ์๋๋ค๋ฉด, ๋ง์ ์๊ฐ๊ณผ ๋ ธ๋ ฅ์ ๋ค์ฌ๋ ์ป๊ธฐ ํ๋ ์์์ ๋๋ค.
์ด๋ฒ์ ์ถ์ํ "์บ๊ธ Advanced ๋จธ์ ๋ฌ๋ ์ค์ ๋ฐ์น๊ธฐ" ๊ฐ์๋ ์บ๊ธ์ "Home Credit Default Risk ๊ฒฝ์ฐ๋ํ" ๋จธ์ ๋ฌ๋ ๋ฌธ์ ๋ฅผ ์ ์ ํจ๊ป ๊ตฌํํด ๋๊ฐ๋ฉด์ ์ด๋ฌํ 3๊ฐ์ง ์์๋ค์ ๋ฐฐ์ํด ๋๊ฐ๊ณ , ์ฌ๋ฌ๋ถ์ ์ค์ ๋จธ์ ๋ฌ๋ ๊ตฌํ ๋ฅ๋ ฅ๊ณผ ์์ ๊ฐ์ ํ์คํ๊ฒ ์ ๊ทธ๋ ์ด๋ ํ ์ ์๋๋ก ๋ง๋ค์ด์ก์ต๋๋ค.
'Home Credit Default Risk ๊ฒฝ์ฐ๋ํ' ๋ฌธ์ ๋ ์ค๋ฌด ์ ๋ฌด์์ ํ์ฉ๋ ์ ์๋ ์ ํ์ ๋ฐ์ดํฐ ๋ชจ๋ธ๊ณผ ์ฌ๋ฌ ๊ฐ์ ๋ฐ์ดํฐ ์ธํธ๋ค์ ๊ฐ์ง๊ณ ์์ต๋๋ค.
๋ณธ ๊ฐ์๋ ์ด ๊ฒฝ์ฐ๋ํ ๋ฌธ์ ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ฐ์ดํฐ ๋ชจ๋ธ๊ณผ ๋ถ์ ๋๋ฉ์ธ, ๋ฐ์ดํฐ ๋ถ์ EDA, Feature Engineering, ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋, ๋ชจ๋ธ ์ฑ๋ฅ ์ต์ ํ ๋ฑ ๋จธ์ ๋ฌ๋์ ์ค์ ์์ญ์ ๋ํด์ ์ฌ๋ฌ๋ถ์ด ์ถฉ๋ถํ ํด๋น ๋ฅ๋ ฅ์ ๋ฐฐ์ํ ์ ์๋๋ก ์์ธํ๊ณ ์์ธํ๊ฒ ์ฝ๋๋ฅผ ๊ตฌํํด ๊ฐ๋ฉด์ ์ค๋ช ์ ๋๋ฆด ๊ฒ์ ๋๋ค.
๊ฐ์์์ ์ฌ์ฉ๋๋ ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ง์ ์บ๊ธ๋ฌ๋ค์ด ์ฌ๋ํ๋ LightGBM ์ ๋๋ค. ์ฌ๋ฌ๋ถ์ ๊ตฌํ ๊ณผ์ ๋ฅผ ํตํด์ Home Credit Default Risk ๊ฒฝ์ฐ๋ํ ์์ 10%์ ํด๋นํ๋ ๊ตฌํ ์ฝ๋๋ฅผ ์์ฑํ๊ฒ ๋๋ฉฐ, ์ด๋ฅผ ํตํด ์ฑ๋ฅ์ ์ต์ ํํ ๋ชจ๋ธ ๊ตฌํ์ ๋ํ ์์ ๊ฐ์ ์ป์ผ์ค ์ ์์ ๊ฒ์ ๋๋ค.
๊ฐ์ ๋๋ถ๋ถ์ด ์ค์ต ์ฝ๋๋ฅผ ์ค๋ช ํ๋ ๋ถ๋ถ์ผ๋ก ๋์ด ์์ผ๋ฉฐ, ๋งค์ฐ ์์ธํ๊ฒ ์ฝ๋๋ค์ Line by Line์ผ๋ก ์ค๋ช ํด ๋๋ฆฝ๋๋ค. ํนํ ์ค์ํ ๊ตฌํ ๋ถ๋ถ์ ๊ฒฝ์ฐ๋ ์ ์ ํจ๊ป Live Coding์ ์ํํ ์ ์๋๋ก ๋ง๋ค์ด์ ธ์, ์ฌ๋ฌ๋ถ์ ๊ตฌํ ์ดํด๋๋ฅผ ๋์ฑ ํฅ์์์ผ๋๋ฆด ๊ฒ์ ๋๋ค.
๋ณธ ๊ฐ์๋ฅผ ํตํด ์บ๊ธ์ด๋ ๋ฐ์ด์ฝ ๋ฑ์ ๊ฒฝ์ฐ๋ํ์์ ๋์ ์ฑ์ ์ ์ฌ๋ฆด ์ ์๋๋ก ๊ณ ๊ธ ๋จธ์ ๋ฌ๋ ๊ธฐ๋ฒ, Feature Engineering ๋ฐ ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋ ๊ธฐ๋ฒ๋ค์ ๋ฐฐ์ฐ์๊ฒ ๋ฉ๋๋ค.
์ด๋ฅผ ํตํด ์ฌ๋ฌ๋ถ์ ๋จธ์ ๋ฌ๋ ๊ฒฝ์ฐ ๋ํ์ ์์ ๊ฐ์ ๊ฐ์ง๊ณ ์ํ์ค ์ ์๋ ์์ค์ผ๋ก ์ฌ๋ ค๋๋ฆด ๊ฒ์
๋๋ค.
๋ณธ ๊ฐ์๋ ๋ฐ์ดํฐ ๋ชจ๋ธ๊ณผ ๋ถ์ ๋๋ฉ์ธ, ๋ฐ์ดํฐ ๋ถ์ EDA, Feature Engineering, ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋, ๋ชจ๋ธ ์ฑ๋ฅ ์ต์ ํ ๋ฑ ๋จธ์ ๋ฌ๋ ์ ์์ญ์ ๋ํด์ ์์ธํ ์ค๋ช
์ ๋ด๊ณ ์์ต๋๋ค.
์ฌ๋ฌ๋ถ์ ์ด๋ฅผ ํตํด์ ๋น๋จ ๋จธ์ ๋ฌ๋๋ฟ๋ง ์๋๋ผ ๋ฐ์ดํฐ ๊ฐ๊ณต๊ณผ ์
๋ฌด ๋๋ฉ์ธ ์ดํด ๋ฅ๋ ฅ์ ํฅ์์ํฌ ์ ์์ผ๋ฉฐ, ์ด๋ฅผ ํตํด ์ค๋ฌด์์ ํ์๋ก ํ๋ ๋จธ์ ๋ฌ๋ ์ ๋ฌธ๊ฐ๋ก์์ ๊ธฐํ์ ๋ง๋ จํ ์ ์์ ๊ฒ์
๋๋ค.
๋ณธ ๊ฐ์๋ ๋จธ์ ๋ฌ๋์ ๋ํ ๊ธฐ๋ฐ ์ดํด๋ฅผ ๋ฏธ๋ฆฌ ๊ฐ์ถ๊ณ ์๋ ์๊ฐ์ ๋ถ๋ค์ ์ํ Advanced ๋จธ์ ๋ฌ๋ ํ๋ก์ ํธ ๊ฐ์์ ๋๋ค. 'ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋' ์ฑ ์ 1~4์ฅ(๋ถ๋ฅ)๊น์ง ์ ๋์ ๋ด์ฉ์ ์ดํดํ๊ณ ์๋ค๊ณ ๊ฐ์ ํ๊ณ ๋ง๋ค์ด์ก์ต๋๋ค.
'ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋' ์ฑ ์ด๋ ๊ฐ์๋ฅผ ์ ํ์ง ์์ผ์ จ๋๋ผ๋ 'ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋' ๋ชฉ์ฐจ๋ฅผ ๋ฏธ๋ฆฌ ๋ณด์๊ณ 4์ฅ ๋ถ๋ฅ๊น์ง์ ๋ชฉ์ฐจ ๋ด์ฉ์ด ๋ฏ์ค์ง ์๋ค๋ฉด ์๊ฐํ์ค ์ ์์ต๋๋ค.
Jupyter Notebook Colab
12GB ์ด์ RAM ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ง๋ ํ๊ฒฝ์ด๋ผ๋ฉด ์ด๋์๋ ๊ฐ๋ฅํฉ๋๋ค. (8GB ์ ๋๋ ๋ง์ง๋ง ์ค์ต ๋จ๊ณ์์ ๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ์ผ๋ก ์ค์ต์ด ์ด๋ ค์ธ ์ ์์ต๋๋ค). 12GB ์ด์ RAM์ด ์๋ ๊ฒฝ์ฐ์๋ ๊ตฌ๊ธ ํด๋ผ์ฐ๋ $300 ๋ฌด๋ฃ ํฌ๋ ๋ง์ ์ด์ฉํ์ฌ ์๋ฒ๋ฅผ ์์ฑํ๊ฑฐ๋, ๊ตฌ๊ธ ์ฝ๋ฉ(Colab)์ ์ด์ฉํ์๋ฉด ๋ฉ๋๋ค. ๊ฐ์์ ์ฒซ๋ฒ์งธ ์น์ ์์ ์ด๋ค ์ค์ตํ๊ฒฝ์ ์ด๋ป๊ฒ ์ค์ ํ๋์ง ์์ธํ ์ค๋ช ๋๋ฆฝ๋๋ค.
์ค์ต ์ฝ๋๋ ์ฃผํผํฐ ๋ ธํธ๋ถ ํํ๋ก ์ ๊ณต๋๋ฉฐ ๊ตฌ๊ธ ์ฝ๋ฉ(Colab)์ฉ ์ค์ต ์ฝ๋๊ฐ ๋ณ๋๋ก ์ ๊ณต๋ฉ๋๋ค. ์ค์ต ์ฝ๋, ๊ฐ์ ์๋ฃ๋ ๋ณธ ๊ฐ์ ์ธ์ ์๋ฃ์ค์์ ๋ค์ด๋ก๋๋ฅผ ๋ฐ์ผ์ค ์ ์์ต๋๋ค.
ํ์ต ๋์์
๋๊ตฌ์ผ๊น์?
์บ๊ธ์ด๋ ๋ฐ์ด์ฝ์ ๋ณธ๊ฒฉ์ ์ผ๋ก ๋์ ํ์๋ ๋ถ
์ค๋ฌด์ ๋จธ์ ๋ฌ๋์ ์ด๋ป๊ฒ ์ ์ฉํ ์ง ๊ณ ๋ฏผํ์๋ ๋ถ
๋จธ์ ๋ฌ๋ ์ดํด๋ฅผ ๋์ด์ ์ค์ ์ ์ธ ๋ชจ๋ธ ๊ตฌํ์ ์ํ์๋ ๋ถ
๋จธ์ ๋ฌ๋ ์ค๋ ฅ์ ํ๋จ๊ณ ์ ๊ทธ๋ ์ด๋ ํ์๋ ค๋ ๋ถ
๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ์ฑ๋ฅ ๊ฐ์ ๋ฐฉ๋ฒ์ด ํ์ํ์ ๋ถ
์ด๋ ค์ด ๋ฌธ์ ๋ฅผ ์ ํ๋ฉด์ ์ค์ ๋จธ์ ๋ฌ๋ ๋ฅ๋ ฅ์ ํค์ฐ์๊ธธ ์ํ์๋ ๋ถ
์ ์ ์ง์,
ํ์ํ ๊น์?
ํ์ด์ฌ ๋จธ์ ๋ฌ๋์ ๋ํ ์ดํด
ํ์ด์ฌ๊ณผ Pandas ๊ตฌํ ๋ฅ๋ ฅ
24,952
๋ช
์๊ฐ์
1,162
๊ฐ
์๊ฐํ
3,916
๊ฐ
๋ต๋ณ
4.9
์
๊ฐ์ ํ์
13
๊ฐ
๊ฐ์
(์ ) ์์ฝ์ ์ปจ์คํ
(์ ) ํ๊ตญ ์ค๋ผํด
AI ํ๋ฆฌ๋์ ์ปจ์คํดํธ
ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋ ์ ์
์ ์ฒด
70๊ฐ โ (12์๊ฐ 55๋ถ)
ํด๋น ๊ฐ์์์ ์ ๊ณต: