๋จธ์ ๋ฌ๋, ์ค์ ๊ตฌํ ๋ฅ๋ ฅ๊น์ง ๋ ๋ ํ๊ฒ!
์ง์ ๊ฒฝ์ฐ๋ํ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ๊ตฌํํด๋ณด์ธ์.
๊ฐ์ ์๊ฐ ๐ค
์๋
ํ์ญ๋๊น,
ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋์ ์ ์ ๊ถ์ฒ ๋ฏผ ์
๋๋ค.
์ค๋ฌด์์ ํ์๋ก ํ๋ ์ง์ ํ ๋จธ์ ๋ฌ๋ ์ ๋ฌธ๊ฐ๊ฐ ๋๊ธฐ ์ํด์๋ ๋จธ์ ๋ฌ๋์ ๋ํ ์ดํด๋ฟ๋ง ์๋๋ผ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฅ๋ ฅ, ์ ์ฉ ์
๋ฌด์ ์ดํด ๋ฅ๋ ฅ๋ค์ ํจ๊ป ๊ฐ์ถ๊ณ ์์ด์ผ ํฉ๋๋ค. ํ์ง๋ง ์ด๋ฌํ ๋ฅ๋ ฅ๋ค์ ์ค์ ์ ์ผ๋ก ๊ฒฝํํด ๋ณด์ง ์๊ฑฐ๋ ๊ณํ์ ์ผ๋ก ํ๋ จ๋์ง ์๋๋ค๋ฉด, ๋ง์ ์๊ฐ๊ณผ ๋
ธ๋ ฅ์ ๋ค์ฌ๋ ์ป๊ธฐ ํ๋ ์์์
๋๋ค.
์ด๋ฒ์ ์ถ์ํ "์บ๊ธ Advanced ๋จธ์ ๋ฌ๋ ์ค์ ๋ฐ์น๊ธฐ" ๊ฐ์๋ ์บ๊ธ์ "Home Credit Default Risk ๊ฒฝ์ฐ๋ํ" ๋จธ์ ๋ฌ๋ ๋ฌธ์ ๋ฅผ ์ ์ ํจ๊ป ๊ตฌํํด ๋๊ฐ๋ฉด์ ์ด๋ฌํ 3๊ฐ์ง ์์๋ค์ ๋ฐฐ์ํด ๋๊ฐ๊ณ , ์ฌ๋ฌ๋ถ์ ์ค์ ๋จธ์ ๋ฌ๋ ๊ตฌํ ๋ฅ๋ ฅ๊ณผ ์์ ๊ฐ์ ํ์คํ๊ฒ ์
๊ทธ๋ ์ด๋ ํ ์ ์๋๋ก ๋ง๋ค์ด์ก์ต๋๋ค.
'Home Credit Default Risk ๊ฒฝ์ฐ๋ํ' ๋ฌธ์ ๋ ์ค๋ฌด ์
๋ฌด์์ ํ์ฉ๋ ์ ์๋ ์ ํ์ ๋ฐ์ดํฐ ๋ชจ๋ธ๊ณผ ์ฌ๋ฌ ๊ฐ์ ๋ฐ์ดํฐ ์ธํธ๋ค์ ๊ฐ์ง๊ณ ์์ต๋๋ค.
๋ณธ ๊ฐ์๋ ์ด ๊ฒฝ์ฐ๋ํ ๋ฌธ์ ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ฐ์ดํฐ ๋ชจ๋ธ๊ณผ ๋ถ์ ๋๋ฉ์ธ, ๋ฐ์ดํฐ ๋ถ์ EDA, Feature Engineering, ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋, ๋ชจ๋ธ ์ฑ๋ฅ ์ต์ ํ ๋ฑ ๋จธ์ ๋ฌ๋์ ์ค์ ์์ญ์ ๋ํด์ ์ฌ๋ฌ๋ถ์ด ์ถฉ๋ถํ ํด๋น ๋ฅ๋ ฅ์ ๋ฐฐ์ํ ์ ์๋๋ก ์์ธํ๊ณ ์์ธํ๊ฒ ์ฝ๋๋ฅผ ๊ตฌํํด ๊ฐ๋ฉด์ ์ค๋ช
์ ๋๋ฆด ๊ฒ์
๋๋ค.
๊ฐ์์์ ์ฌ์ฉ๋๋ ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ง์ ์บ๊ธ๋ฌ๋ค์ด ์ฌ๋ํ๋ LightGBM ์
๋๋ค. ์ฌ๋ฌ๋ถ์ ๊ตฌํ ๊ณผ์ ๋ฅผ ํตํด์ Home Credit Default Risk ๊ฒฝ์ฐ๋ํ ์์ 10%์ ํด๋นํ๋ ๊ตฌํ ์ฝ๋๋ฅผ ์์ฑํ๊ฒ ๋๋ฉฐ, ์ด๋ฅผ ํตํด ์ฑ๋ฅ์ ์ต์ ํํ ๋ชจ๋ธ ๊ตฌํ์ ๋ํ ์์ ๊ฐ์ ์ป์ผ์ค ์ ์์ ๊ฒ์
๋๋ค.
๋ณธ ๊ฐ์์ ํน์ง ๐
1. ์์ธํ๊ณ ์ฌ์ด ์ค์ต ์ฝ๋ ์ค๋ช
๊ณผ Live Coding์ ํตํ ์ค์ ๊ตฌํ ์ดํด๋ ํฅ์
๊ฐ์ ๋๋ถ๋ถ์ด ์ค์ต ์ฝ๋๋ฅผ ์ค๋ช
ํ๋ ๋ถ๋ถ์ผ๋ก ๋์ด ์์ผ๋ฉฐ, ๋งค์ฐ ์์ธํ๊ฒ ์ฝ๋๋ค์ Line by Line์ผ๋ก ์ค๋ช
ํด ๋๋ฆฝ๋๋ค. ํนํ ์ค์ํ ๊ตฌํ ๋ถ๋ถ์ ๊ฒฝ์ฐ๋ ์ ์ ํจ๊ป Live Coding์ ์ํํ ์ ์๋๋ก ๋ง๋ค์ด์ ธ์, ์ฌ๋ฌ๋ถ์ ๊ตฌํ ์ดํด๋๋ฅผ ๋์ฑ ํฅ์์์ผ๋๋ฆด ๊ฒ์
๋๋ค.
2. ์บ๊ธ์ด๋ ๋ฐ์ด์ฝ ๋ฑ์ ๊ฒฝ์ฐ ๋ํ๋ฅผ ๋๋นํ ์ฑ๋ฅ ์ค์ฌ ๋ชจ๋ธ ๊ตฌํ ๋ฅ๋ ฅ ํฅ์
๋ณธ ๊ฐ์๋ฅผ ํตํด ์บ๊ธ์ด๋ ๋ฐ์ด์ฝ ๋ฑ์ ๊ฒฝ์ฐ๋ํ์์ ๋์ ์ฑ์ ์ ์ฌ๋ฆด ์ ์๋๋ก ๊ณ ๊ธ ๋จธ์ ๋ฌ๋ ๊ธฐ๋ฒ, Feature Engineering ๋ฐ ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋ ๊ธฐ๋ฒ๋ค์ ๋ฐฐ์ฐ์๊ฒ ๋ฉ๋๋ค.
์ด๋ฅผ ํตํด ์ฌ๋ฌ๋ถ์ ๋จธ์ ๋ฌ๋ ๊ฒฝ์ฐ ๋ํ์ ์์ ๊ฐ์ ๊ฐ์ง๊ณ ์ํ์ค ์ ์๋ ์์ค์ผ๋ก ์ฌ๋ ค๋๋ฆด ๊ฒ์
๋๋ค.
3. ์ค๋ฌด์์ ํ์๋ก ํ๋ ๋จธ์ ๋ฌ๋ ์ ์์ญ์ ๋ํ ์์ธํ ์ค๋ช
๋ณธ ๊ฐ์๋ ๋ฐ์ดํฐ ๋ชจ๋ธ๊ณผ ๋ถ์ ๋๋ฉ์ธ, ๋ฐ์ดํฐ ๋ถ์ EDA, Feature Engineering, ํ์ดํผ ํ๋ผ๋ฏธํฐ ํ๋, ๋ชจ๋ธ ์ฑ๋ฅ ์ต์ ํ ๋ฑ ๋จธ์ ๋ฌ๋ ์ ์์ญ์ ๋ํด์ ์์ธํ ์ค๋ช
์ ๋ด๊ณ ์์ต๋๋ค.
์ฌ๋ฌ๋ถ์ ์ด๋ฅผ ํตํด์ ๋น๋จ ๋จธ์ ๋ฌ๋๋ฟ๋ง ์๋๋ผ ๋ฐ์ดํฐ ๊ฐ๊ณต๊ณผ ์
๋ฌด ๋๋ฉ์ธ ์ดํด ๋ฅ๋ ฅ์ ํฅ์์ํฌ ์ ์์ผ๋ฉฐ, ์ด๋ฅผ ํตํด ์ค๋ฌด์์ ํ์๋ก ํ๋ ๋จธ์ ๋ฌ๋ ์ ๋ฌธ๊ฐ๋ก์์ ๊ธฐํ์ ๋ง๋ จํ ์ ์์ ๊ฒ์
๋๋ค.
๊ฐ์ ์ ์ ์ง์ ๐โโ๏ธ
๋ณธ ๊ฐ์๋ ๋จธ์ ๋ฌ๋์ ๋ํ ๊ธฐ๋ฐ ์ดํด๋ฅผ ๋ฏธ๋ฆฌ ๊ฐ์ถ๊ณ ์๋ ์๊ฐ์ ๋ถ๋ค์ ์ํ Advanced ๋จธ์ ๋ฌ๋ ํ๋ก์ ํธ ๊ฐ์์
๋๋ค. 'ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋' ์ฑ
์ 1~4์ฅ(๋ถ๋ฅ)๊น์ง ์ ๋์ ๋ด์ฉ์ ์ดํดํ๊ณ ์๋ค๊ณ ๊ฐ์ ํ๊ณ ๋ง๋ค์ด์ก์ต๋๋ค.
'ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋' ์ฑ
์ด๋ ๊ฐ์๋ฅผ ์ ํ์ง ์์ผ์
จ๋๋ผ๋ 'ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋' ๋ชฉ์ฐจ๋ฅผ ๋ฏธ๋ฆฌ ๋ณด์๊ณ 4์ฅ ๋ถ๋ฅ๊น์ง์ ๋ชฉ์ฐจ ๋ด์ฉ์ด ๋ฏ์ค์ง ์๋ค๋ฉด ์๊ฐํ์ค ์ ์์ต๋๋ค.
์ค์ต ํ๊ฒฝ ๐ป
Jupyter Notebook Colab
12GB ์ด์ RAM ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ง๋ ํ๊ฒฝ์ด๋ผ๋ฉด ์ด๋์๋ ๊ฐ๋ฅํฉ๋๋ค. (8GB ์ ๋๋ ๋ง์ง๋ง ์ค์ต ๋จ๊ณ์์ ๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ์ผ๋ก ์ค์ต์ด ์ด๋ ค์ธ ์ ์์ต๋๋ค). 12GB ์ด์ RAM์ด ์๋ ๊ฒฝ์ฐ์๋ ๊ตฌ๊ธ ํด๋ผ์ฐ๋ $300 ๋ฌด๋ฃ ํฌ๋ ๋ง์ ์ด์ฉํ์ฌ ์๋ฒ๋ฅผ ์์ฑํ๊ฑฐ๋, ๊ตฌ๊ธ ์ฝ๋ฉ(Colab)์ ์ด์ฉํ์๋ฉด ๋ฉ๋๋ค. ๊ฐ์์ ์ฒซ๋ฒ์งธ ์น์
์์ ์ด๋ค ์ค์ตํ๊ฒฝ์ ์ด๋ป๊ฒ ์ค์ ํ๋์ง ์์ธํ ์ค๋ช
๋๋ฆฝ๋๋ค.
์ค์ต ์ฝ๋๋ ์ฃผํผํฐ ๋
ธํธ๋ถ ํํ๋ก ์ ๊ณต๋๋ฉฐ ๊ตฌ๊ธ ์ฝ๋ฉ(Colab)์ฉ ์ค์ต ์ฝ๋๊ฐ ๋ณ๋๋ก ์ ๊ณต๋ฉ๋๋ค. ์ค์ต ์ฝ๋, ๊ฐ์ ์๋ฃ๋ ๋ณธ ๊ฐ์ ์ธ์
์๋ฃ์ค์์ ๋ค์ด๋ก๋๋ฅผ ๋ฐ์ผ์ค ์ ์์ต๋๋ค.
์ธํ๋ฐ์ด ๋ง๋ ์ฌ๋ ๐จโ๐ป
๊ถ์ฒ ๋ฏผ๋ ์ธํฐ๋ทฐ๋ฅผ ์ฝ์ด๋ณด์ธ์ | ๋ณด๋ฌ๊ฐ๊ธฐ