๊ธฐ๋ณธ์ ์ธ ์์ฐ์ด์ฒ๋ฆฌ ๊ธฐ๋ฒ(Natural Language Processing)๊ณผ ๋ฅ๋ฌ๋์ ํ์ฉํ ๋ค์ํ ํ ์คํธ task์ ๋ํด ๋ค๋ฃน๋๋ค.
์์ฐ์ด์ฒ๋ฆฌ์ ๊ธฐ๋ณธ๊ฐ๋
Attention์ ๋ํ ๊ฐ๋ ๊ณผ ์์ฉ
์ต๊ทผ NLP์ ๋ํ ํธ๋ ๋
๋ฅ๋ฌ๋์ ํตํ ์์ฐ์ด ์ฒ๋ฆฌ ๊ธฐ๋ฒ
์ธํ๋ฐ์์ ๊ฐ์ํ ๋ด์ฉ์ ์ ๋ฆฌํ์ฌ 'ํ์ด์ฌ ๋ฅ๋ฌ๋ ํ์ดํ ์น' ๋ผ๋ ์ฑ ์ผ๋ก ์ถ๊ฐํ์์ต๋๋ค.
๋ง์ ๊ด์ฌ ๋ถํ๋๋ฆฝ๋๋ค : )
(2020.10.06 ๊ธฐ์ค ์ธํ๋ฐ ๊ฐ์ ์ ๋ฐ์ดํธ ๋์์ต๋๋ค. ์ง์์ ์ธ ๊ฐ์ ์ ๋ฐ์ดํธ ํ๋๋ก ํ๊ฒ ์ต๋๋ค)
http://m.yes24.com/Goods/Detail/93376077?ozsrank=10
http://mbook.interpark.com/shop/product/detail?prdNo=339742291&is1=book&is2=product
[PyTorch] ์ฝ๊ณ ๋น ๋ฅด๊ฒ ๋ฐฐ์ฐ๋ ๋ฅ๋ฌ๋ ๊ฐ์๋ฅผ ํตํด, ๋ฅ๋ฌ๋์ ๊ธฐ๋ณธ์ ๋ํด ๋ฐฐ์ ์ต๋๋ค.
์ด์ ๊ฐ์์ ๋ํด์, ๋น๊ต์ ์ ์ ๋ถ๋์ ์์ฐ์ด ์ฒ๋ฆฌ์ ํ์ํ ๊ธฐ๋ณธ ์ง์์ ๋ฐฐ์ฐ๋ฉฐ, ๋ฅ๋ฌ๋ ๊ธฐ์ ์ ํ์ฉํ์ฌ ์์ฐ์ด ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ ์ ์๋ ๊ธฐ์ ์ ๋ฐฐ์ธ ์ ์๋ ๊ฐ์์
๋๋ค.
์์ฐ์ด ์ฒ๋ฆฌ์ ๊ด์ฌ์ด ์์ผ์ ๋ถ์ Transformer, BERT ๋ชจ๋ธ๋ค์ ๋ค์ด๋ณด์
จ์ ๊ฒ๋๋ค.
ํ์ง๋ง, Transformer, BERT ๋ชจ๋ธ๋ค์ ์๋ ์๋ฆฌ์ ๋ํด์๋ ์ฝ๊ฒ ์ดํดํ์์ง ๋ชปํ์
จ์ ๊ฑฐ๋ผ ์์ํฉ๋๋ค.
๊ทธ ์ด์ ๋ ์์ฐ์ด ์ฒ๋ฆฌ์ ๋ํ ๊ธฐ๋ณธ ์ง์์ด ๋ถ์กฑํ๊ธฐ ๋๋ฌธ์
๋๋ค.
๋ฐ๋ผ์, ์ด๋ฒ ๊ฐ์์์๋ ์์ฐ์ด์ฒ๋ฆฌ์ ๋ํ ๊ธฐ๋ณธ ์ง์์ ์์ ์ ์๋ ๋ด์ฉ๋ค์ ํ์ตํด ๋ด ๋๋ค.
์์ฐ์ด๋ฅผ ํํํ ๋ ๋ฒ์ฃผํ ๋ณ์๋ก ํํํ์๋ ๊ธฐ์กด ๋ฐฉ๋ฒ๋ก ์ ๋ํด์ ํ๊ณ์ ์ ์ ์ํ๊ณ ,
์ด๋ฅผ ๊ทน๋ณตํ ์ ์๋ ์์ฐ์ด ํํ ๋ฐฉ๋ฒ๋ก ์ ๋ํด ์ค๋ช
ํฉ๋๋ค.
๋ฐฉ๋ฒ๋ก ์ ๋ํ ํต์ฌ์ ์ธ ๋ด์ฉ์ ์์ฃผ๋ก ๋ค๋ฃจ๋ฉฐ, ์ค์ ๋ก ์ด๋ป๊ฒ ์ด์ฉํ ์ ์๋์ง ์ค์ต์ ์งํํ๋ฉฐ ์ค๋ช
ํฉ๋๋ค.
์์ฐ์ด์ ํน์ง์ ์ ๋ฐ์ํ ์ ์๋ Recurrent Neural Network (RNN ; ์ํ ์ ๊ฒฝ๋ง) ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋ํด์ ๋ฐฐ์๋๋ค.
RNN ๋ชจ๋ธ์ Feeding ๊ณผ์ ์ ์์์ ์ผ๋ก ๋ฐฐ์ฐ๋ฉฐ, ์ด์ ๋ํด ๋ฐ์ ๋ Long Term Short Memory (LSTM), Gated Recurrent Unit (GRU) ๋ชจ๋ธ ์ญ์ ์์์ ์ผ๋ก Feeding ๊ณผ์ ์ ์ค๋ช ํฉ๋๋ค.
์์ฐ์ด ์ฒ๋ฆฌ ๋ถ์ผ์์๋ ๋ง์ Task๊ฐ ์กด์ฌํฉ๋๋ค.
๊ทธ ์ค ๊ฐ์ฅ ๋ํ์ ์ผ๋ก ๋ฝํ๋ Tagging, Neural Machine Translation๊ฐ ์ด๋ค Task์ธ์ง๋ฅผ ๋ฐฐ์๋๋ค.
๊ฐ Task ๋ณ ๊ตฌ์ฒด์ ์ธ ์์์ ๋๋ถ์ด ๋ถ์ ๋ฐฉ๋ฒ์ ๋ํ ๋ํ์ ์ธ ๋ฅ๋ฌ๋ ๋ชจ๋ธ ๊ตฌ์กฐ๋ฅผ ์ ์ํ๋ฉฐ,
๋ฐ์ดํฐ์ Weight Feeding ๊ณผ์ ์ ์ค๋ช
ํฉ๋๋ค.
RNN ๋ชจ๋ธ์ ํ๊ณ์ ์ ์ ์ํ๊ณ , ์ด๋ฅผ ๊ฐ์ ํ๊ธฐ ์ํ ๋ฐฉ๋ฒ๋ก ์ค
์์ฐ์ด ์ฒ๋ฆฌ ๋ถ์ผ์์ ์ต๊ทผ ๋ ์ค๋ฅด๊ณ ์๋ ๋ฉ์ปค๋์ฆ์ธ Attention ๊ธฐ๋ฒ์ ์๊ฐํฉ๋๋ค.
Attention Mechanism์ ์ด์ฉํ Neural Machine Translation๊ณผ,
Attention Mechanism์ ํ์ฉํ Tagging ๊ฐ๊ฐ์ ๋ํด ์ด๋ ํ ๋ฐฉ์์ผ๋ก ์ ์ฉํ ์ ์๋์ง ์ค๋ช
ํฉ๋๋ค.
์ง์๊ณต์ ์์ ์
์ฅ์์, ์ต๊ทผ ์์ฐ์ด ์ฒ๋ฆฌ ๋ถ์ผ์ ๋ํด์ ์ฃผ์ํ๊ฒ ์ฐ๊ตฌ๋๊ณ ์๋ ๋ถ์ผ๋ฅผ ์๊ฐํฉ๋๋ค.
๋ณธ ๊ฐ์๋ฅผ ์๊ฐํ ์ดํ, ์์ฐ์ด ์ฒ๋ฆฌ์ ๋ํด์ ์ด๋ ํ ๋ฐฉ์์ผ๋ก ๊ณต๋ถํ๋ฉด ์ข์์ง ๋ฐฉํฅ์ฑ์ ์ ์ํฉ๋๋ค.
Q. ๋ณธ ๊ฐ์์์ Transformer, BERT ๋ชจ๋ธ๋ค์ ๋ํด์ ์ค๋ช
ํด์ฃผ์๋์?
โ ๋ณธ ๊ฐ์๋ ์์ฐ์ด์ฒ๋ฆฌ์ ๋ํ ๊ธฐ์ด ๊ฐ์์
๋๋ค. Transformer, BERT ๋ชจ๋ธ๋ค์ ๋ํด์ ๊ณต๋ถํ ๋ ํ์ํ ๊ธฐ๋ณธ ์ง์๋ค์ ์ค๋นํ ์ ์๋ ๊ฒ์ด ๋ณธ ๊ฐ์์ ๋ชฉํ์
๋๋ค. ๋ฐ๋ผ์, Transformer, BERT ๋ชจ๋ธ๋ค์ ๋ํด ๊ฐ๋ตํ ์๊ฐ๋ฅผ ๋๋ฆฌ์ง๋ง, ๊ตฌ์ฒด์ ์ธ ๋ด์ฉ์ ๋ค๋ฃจ์ง ์์ต๋๋ค.
Q. ๊ฐ์๋ฅผ ์๊ฐํ๊ธฐ ์ , ํ์ํ ์ง์์ ์ด๋์ ๋ ์ธ๊ฐ์?
โ [PyTorch] ์ฝ๊ณ ๋น ๋ฅด๊ฒ ๋ฐฐ์ฐ๋ ๋ฅ๋ฌ๋ ์์
์ ๋ฃ๋ ๊ฒ์ ์ถ์ฒํฉ๋๋ค. ๊ทธ ์ธ์๋, ๋ฅ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ํ ๊ธฐ๋ณธ ์ง์์ ๊ฐ๊ณ ์์ผ์๋ฉด, ์ถฉ๋ถํ ์๊ฐํ์ค ์ ์์ต๋๋ค.
Q. ์ค์ต ์์
์ ์ด๋ป๊ฒ ์งํ๋๋์?
โ ์ด๋ก ๋ด์ฉ์ ๊ด๋ จ๋ ์ค์ต ์ฝ๋๋ฅผ ์ค๋นํด์ ๊ฐ์ํฉ๋๋ค. ์ฝ๋๋ฅผ ๊ณต์ ํ๋, ๋ผ์ธ ๋ฐ์ด ๋ผ์ธ์ผ๋ก ์ฝ๋๋ฅผ ์์ฑํ๋ฉฐ ๋ณต์ตํด๋ณด์๋ ๊ฒ์ ์ถ์ฒํฉ๋๋ค. (์ค์ต ์ฝ๋ : [https://github.com/Justin-A/](https://github.com/Justin-A/torch_nlp_basic)torch_nlp_basic)
Justin
ํ์ต ๋์์
๋๊ตฌ์ผ๊น์?
์์ฐ์ด์ฒ๋ฆฌ ๋ฅ๋ฌ๋์ผ๋ก ๋ค๋ฃจ๊ณ ์ถ์ผ์ ๋ถ
ํ ์คํธ, NLP ์ชฝ์ ๋ฐฐ์ฐ๊ณ ์ถ์ผ์ ๋ถ
์ ์ ์ง์,
ํ์ํ ๊น์?
๋ฅ๋ฌ๋ ๊ธฐ์ด
Pytorch ๊ธฐ์ด
8,133
๋ช
์๊ฐ์
489
๊ฐ
์๊ฐํ
136
๊ฐ
๋ต๋ณ
4.4
์
๊ฐ์ ํ์
20
๊ฐ
๊ฐ์
ํ๋ถ์์๋ ํต๊ณํ์ ์ ๊ณตํ๊ณ ์ฐ์ ๊ณตํ(์ธ๊ณต์ง๋ฅ) ๋ฐ์ฌ๋ฅผ ๋ฐ๊ณ ์ฌ์ ํ ๊ณต๋ถ์ค์ธ ๋ฐฑ์์ ๋๋ค.
์์
ใ ์ 6ํ ๋น ์ฝํ ์คํธ ๊ฒ์์ ์ ์ดํ ์๊ณ ๋ฆฌ์ฆ ๊ฐ๋ฐ / ์์จ์ํํธ์(2018)
ใ ์ 5ํ ๋น ์ฝํ ์คํธ ๋์ถ ์ฐ์ฒด์ ์์ธก ์๊ณ ๋ฆฌ์ฆ๊ฐ๋ฐ / ํ๊ตญ์ ๋ณดํต์ ์งํฅํํ์ฅ์(2017)
ใ 2016 ๋ ์จ ๋น ๋ฐ์ดํฐ ์ฝํ ์คํธ/ ๊ธฐ์์ฐ์ ์งํฅ์์ฅ์(2016)
ใ ์ 4ํ ๋น ์ฝํ ์คํธ ๋ณดํ์ฌ๊ธฐ ์์ธก ์๊ณ ๋ฆฌ์ฆ ๊ฐ๋ฐ / ๋ณธ์ ์ง์ถ(2016)
ใ ์ 3ํ ๋น ์ฝํ ์คํธ ์ผ๊ตฌ ๊ฒฝ๊ธฐ ์์ธก ์๊ณ ๋ฆฌ์ฆ ๊ฐ๋ฐ / ๋ฏธ๋์ฐฝ์กฐ๊ณผํ๋ถ ์ฅ๊ด์(2015)
* blog : https://bluediary8.tistory.com
์ฃผ๋ก ์ฐ๊ตฌํ๋ ๋ถ์ผ๋ ๋ฐ์ดํฐ ์ฌ์ด์ธ์ค, ๊ฐํํ์ต, ๋ฅ๋ฌ๋ ์ ๋๋ค.
ํฌ๋กค๋ง๊ณผ ํ ์คํธ๋ง์ด๋์ ํ์ฌ๋ ์ทจ๋ฏธ๋ก ํ๊ณ ์์ต๋๋ค :)
ํฌ๋กค๋ง์ ์ด์ฉํด์ ์ธ๊ธฐ์๋ ์ปค๋ฎค๋ํฐ ๊ธ๋ง ์์งํด์ ๋ณด์ฌ์ฃผ๋ ๋ง๋กฑ์ด๋ผ๋ ์ฑ์ ๊ฐ๋ฐํ์๊ณ
์ ๊ตญ์ ๋ง์ง๋ฆฌ์คํธ์ ๋ธ๋ก๊ทธ๋ฅผ ์์งํด์ ๋ง์ง ์ถ์ฒ ์ฑ๋ ๋ง๋ค์์์ฃ :) (์์ํ๊ฒ ๋ง์๋จน..)
์ง๊ธ์ ์ธ๊ณต์ง๋ฅ์ ์ฐ๊ตฌํ๋ ๋ฐ์ฌ๊ณผ์ ์์ ๋๋ค.
์ ์ฒด
15๊ฐ โ (5์๊ฐ 44๋ถ)
ํด๋น ๊ฐ์์์ ์ ๊ณต: