๋ณธ ๊ฐ์๋ [L4DL Project]์์ ๋ฅ๋ฌ๋์ ๋ณธ๊ฒฉ์ ์ผ๋ก ๋ค๋ฃจ๋ ์ฒซ ๋ฒ์งธ ๊ฐ์์
๋๋ค.
์ค๋ฆฌ์ํ
์ด์
์์
[L4DL] Project Currimulum ๐
Background
๋ฅ๋ฌ๋์ ๊ณต๋ถํ ๋ ๋จ์ํ ๋ชจ๋ธ์ ๋ง๋ค๊ณ , ํ์ต์ ์์ผ๋ณด๋ ๊ฒ์ ์ฅ๊ธฐ์ ์ผ๋ก ํฐ ์๋ฏธ๊ฐ ์์ต๋๋ค.
๋ฅ๋ฌ๋์ ๋ณธ๊ฒฉ์ ์ผ๋ก ์ดํดํ๊ธฐ ์ํด์ , backpropagation์ด๋ parameter update algorithm๋ค์ ๋ค๋ฃจ๊ธฐ ์์ ๋ฅ๋ฌ๋ ๋คํธ์ํฌ๊ฐ ์ด๋ค ์ฐ์ฐ์ ์ด์ฉํ์ฌ ์ถ๋ ฅ์ ๊ณ์ฐํ๋์ง ์ดํดํด์ผ ํฉ๋๋ค.
์ค์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ๊ณผ์ ์ ํตํด ๋ง๋ค์ด์ง๋๋ค.

๋ฅ๋ฌ๋์ ํ์ตํ๋ ์
์ฅ์์ ๊ฐ์ฅ ์ง์ค์ ์ผ๋ก ๋ฐฐ์์ผํ๋ ๋ถ๋ถ์ ๋ฐ๋ก Model Training ๊ณผ์ ์
๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ด ๊ณผ์ ์ ๋ค์๊ณผ ๊ฐ์ด ์ด๋ฃจ์ด์ ธ์์ต๋๋ค.

๋ณธ ๊ฐ์๋ ์ด ๊ณผ์ ์ค Model Prediction ๊ณผ Loss Calculation์ ํด๋นํ๋ Forward Propagation์ ์ง์ค์ ์ผ๋ก ๋ค๋ฃน๋๋ค. ์ด๋ฅผ ํตํด ์ฌ๋ฌ๋ถ๋ค์ Convolutional Neural Network๊ฐ ์ด๋ค ๊ณผ์ ์ ํตํด ์ถ๋ ฅ์ ๋ง๋ค์ด๋ด๋์ง ํ์ธํ ์ ์์ต๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ด๋ฐ ๊ฐ๋
์์์ ๋ฅ๋ฌ๋์ ์ฌ๋๊น์ ์ดํด๊ฐ ์ด๋ฃจ์ด์ง๊ฒ ๋ ๊ฒ์
๋๋ค.
Convolutional Neural Networks
๋ฅ๋ฌ๋์ด ๊ฐ์ฅ ์ฒ์ ๋์
๋ ๋ถ์ผ๋ ์ด๋ฏธ์ง ๋ถ๋ฅ์
๋๋ค. ์ด์ ๋ฐ๋ผ ๋ฅ๋ฌ๋์ ์ดํดํ๋๋ฐ ๊ฐ์ฅ ๊ธฐ์ด์ ์ธ ๋ชจ๋ธ๋ค์ LeNet, AlexNet, VGGNet๊ณผ ๊ฐ์ ์ด๋ฏธ์ง ๋ถ๋ฅ๊ธฐ๋ค์
๋๋ค.
๋ฐ๋ผ์ ๋ณธ ๊ฐ์์์๋ ์์ผ๋ก ํ๋์ ์ง์ค์ ์ผ๋ก ๋ค๋ฃฐ Convolutional Neural Network์ ๊ดํ ๋คํธ์ํฌ์ ์ฐ์ฐ์ ์ง์ค์ ์ผ๋ก ๋ค๋ฃน๋๋ค.

Implementation with Tensorflow
๋ณธ ๊ฐ์์์๋ Tensorflow๋ฅผ ์ด์ฉํด ๋ฅ๋ฌ๋์์ ์ฌ์ฉํ๋ ๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ธ layer์ธ dense layer, convolutional layer, max/avgerage pooling layer, softmax layer๋ฅผ ๋ง๋ค์ด๋ณด๊ณ ์ฐ์ฐ๋ค์ ์ง์ ๋ง๋ค์ด๋ณด๋ฉด์ ์ด๋ก ์ ์ผ๋ก ๋ฐฐ์ด ๋ด์ฉ์ด Tensorflow์์ ์ด๋ป๊ฒ ๊ตฌํ๋์ด ์๋์ง ํ์ธํด๋ด
๋๋ค.

Parameters in Networks
๋ณธ ๊ฐ์๋ฅผ ํ์ตํ ๋ค์๋ ์ ์ฒด ๋ฅ๋ฌ๋ ๋คํธ์ํฌ๊ฐ ์ด๋ค trainable parameter๋ค์ ๊ฐ์ง๊ณ ์๋์ง, ์ด๋ฐ ๋ณ์๋ค์ด ์ด๋ป๊ฒ ์ฐ์ฐ์ ์ฌ์ฉ๋๋์ง ์๊ฒ๋ฉ๋๋ค. ๋ฐ๋ผ์ ๋ค์๊ณผ ๊ฐ์ด ๊ฐ layer๋ค์ ํน์ง์ ๋ํด ์ดํดํ ์ ์๊ฒ๋ฉ๋๋ค.
์ถํ ์ด ๊ฐ๋
์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ์ต์ํค๋ vector chain rule์ ์ดํดํ๋๋ฐ ์ฌ์ฉ๋ฉ๋๋ค.
