[PyTorch] 쉽고 빠르게 배우는 딥러닝

🙆🏻‍♀ 딥러닝의 기본 뼈대인 MLP부터 CNN, RNN까지 쉽고 빠르게 배워봅니다.🙆🏻‍♂

인프런에서 강의한 내용을 정리하여 '파이썬 딥러닝 파이토치' 라는 책으로 출간하였습니다.

많은 관심 부탁드립니다 : ) 

(2020.10.06 기준 인프런 강의 업데이트 되었습니다. 지속적인 강의 업데이트 하도록 하겠습니다)

http://m.yes24.com/Goods/Detail/93376077?ozsrank=10

http://mbook.interpark.com/shop/product/detail?prdNo=339742291&is1=book&is2=product

PyTorch로 쉽고 빠르게 배우는 딥러닝

🗒 강의업데이트

 - PyTorch에 익숙치 않은 사람들을 위하여 PyTorch background 강의(1시간가량)를 추가하였습니다.

 - 논문 리뷰 강의(1시간)를 추가하였습니다.

🗒 강의소개

요즘에 이야기하는 인공지능은 대부분 딥러닝 모델을 활용합니다. 딥러닝의 기초가되는 Neural network는 새로운 알고리즘이 아닙니다. 이전부터 존재해왔던 알고리즘이지만, 학습의 특성상 많이 쓰이지 못했죠. 이 기본 neural network부터 시작해서, 왜 딥러닝이 뜨기 시작했고 딥러닝의 특징이 무엇인지, 더나아가 기본 딥러닝모델로 불리우는 convolution neural network, recurrent neural network에 대해서 학습합니다. 

🌈 Multi Layer Perceptron(MLP)

최초의 인공지능이라 불리우는 perceptron과 perceptron의 한계점, 그리고 이를 극복한 MLP에 대해서 배웁니다.

MLP는 neural network의 기본 구조라고 보시면 됩니다. MLP의 학습 알고리즘을 차근 차근 알려드립니다.

Feed forward와 back propagation에 대해 이야기하고 장점과 단점에 대해 이야기합니다.

🌈 Deep Learning에 대한 정의

딥러닝의 정의가 무엇이고 일반적인 neural network와는 무엇이 다른 것인지에 대해 집중적으로 배웁니다.

NN의 단점인 gradient vanishing/overfitting문제를 완화시킬수 있는 activation function, drop out, Batch normalization에 대해 다룹니다.

나아가 단순히 분류 만 할 수 있는 것이 아니라 새로운 feature에 대해 학습할 수 도 있는 Auto-Encoder에 대해 다룹니다.

🌈 Convolutional Neural Network (CNN)

딥러닝 역사를 보았을때 가장 많이 발전한 모델이 이 CNN모델이 아닐까 싶습니다. 이미지분류로 시작해서 엄청난 발전을 이루어온 CNN모델에 대해 다룹니다. 학습 알고리즘의 특성에 대해 이야기하고 일반적인 NN과의 차이점에 대해 다룹니다. 

더불어 CNN의 성능을 높이기 위한 다양한 아키텍쳐(Resnet, Densenet), initialization, optimizer기법 그리고 transfer learning 대해서도 이야기합니다.

🌈  Recurrent Neural Network (RNN)

텍스트 모델(Language model)의 기초모델인 RNN과 LSTM에 대해 다룹니다. 

🌈  딥러닝의 다양한 분야

딥러닝이 쓰이는 다양한 분야에 대해 이야기합니다.

🌈   딥러닝의 Generalization

 딥러닝, 머신러닝 등 Generalization 은 AI 전반적으로 매우 큰 이슈입니다. 아직까지도 해결되지 않은 난제이죠. 그래서 이를 해결 하기 위한 다양한 연구가 진행 되어 오고 있습니다. 이 Generlization 에 대한 다양한 연구에 대해서도 소개합니다.

기존의 Generlization 성능은 Training error - Eest error 로 계산 하여왔습니다. 학습 데이터에 대한 성능과 테스트 데이터에 대한 성능이 비슷하면 비슷 할 수록 좋다고 여겨 왔기 때문입니다. 그런데 이 기존의 통념을 깨부수는 연구 결과가 나왔고 딥러닝은 학습을 하는 것이 아니라 '외우는 것이다' 라고 논문의 저자들은 주장합니다.

• Understanding deep learning requires rethinking generalization

CNN은 이미지 분류에서 매우 효과적인 모델이라는 것은 누구나 아는 사실입니다. Graphical Representation Learning 으로 이미지의 특징을 잘 잡아내기 때문이죠. 그런데, 이 CNN이 이미지의 Shape을 학습 시키는 것이아니라 texture 를 학습시키는 것이다 라는 연구 결과가 있습니다. 이 논문은  단 한줄의 수식도 없이, 오직 실험 결과만 가지고 AI Top Conference인 ICLR에 Oral로 Accept된 논문입니다. 매우 매우 학술적 가치가 높다라는 이야기 입니다.

• ImageNET-Trained CNNS Are Biased Towards Texture

인간과 딥러닝이 Generalization 에 있어서 어떠한 차이점이 있고, 어떻게 하면 딥러닝이 인간과 비슷하게 Generalization 할 수 있는지에 대한 논문을 소개합니다.

•  Generalisation in humans and deep neural networks

이미지 분류의 성능을 높이고, 일반화에 대한 성능을 높이기 위한 가장 기본적인 방법이 Data augmentation인데, 이를 확장하여 조금 더 효과적인 방법으로 augmentation 하면 Cutout과 Cutmix를 소개합니다. 더불어, 선생이 학생에게 지식을 전달하는 개념인 Knowledge Distillation 의 개념에 대해서도 소개합니다.

• Cutout/Cutmix, Knowledge Distillation

'어린 소녀'의 이미지를 Girl로 학습하는 것이 맞을 까요? 아니면 Woman으로 학습 하는 것이 맞을까요?Girl과 Woman 절반정도로 학습하면 딥러닝의 Generalization 에 더 좋은 효과가 있지 안을까요? 이러한 방법을 Label Softening이라고 하며, Knowledge Distillation을 이용하여 label softening을 진행하기도 합니다. 이 방법들을 이용하여 Regularization 하는 연구를 소개해 드립니다.

• Regularizing Class-wise Predictions via Self-knowledge Distillation

🌈  기타 읽어볼만한 논문 리뷰

읽어볼만한 쉽고 좋은 논문 몇가지를 리뷰해드립니다!

논문 리뷰는 계속해서 업데이트 될 예정입니다!

코끼리 사진에 약간의 노이즈를 추가하면 인간의 눈에는 코끼리로 보이지만, 딥러닝은 Koala로 예측합니다. 노이즈를 통해 딥러닝을 속이는 분야가 생겨나면서 관련 연구들이 많이 등장 하였는데, 그중 하나의 노이즈만 추가하면 거의 모든 이미지를 딥러닝이 잘 못 맞추게 할수 있다라는 연구가 있어 소개합니다.

• Universal Perturbation 

딥러닝의 모델 구조는 간단한 문제에는 단순한 모델 복잡한 문제에는 복잡한 모델을 가져가야 한다고 알려져 있습니다. 이와 관련해서 딥러닝의 모델 크기와 학습 epoch수 그리고 overfitting의 관계에 대해서 연구한 논문이 있습니다.

• Deep Double Descent 

아래 그림에서 네개의 그림은 모두 '강아지'라는 것을 알 수 있습니다. 하지만, 모두 다른 style을 지니고 있죠. CNN은 한 도메인의 강아지를 학습시키면 다른 도메인의 강아지를 맞추지 못합니다. 학습 데이터와 테스트 데이터가 같은 분포에 있다는 가정이 있기 때문이죠. 여러 도메인에 대하여 Generalization 하는 것을 Domain Generalization 이라고 하며, 이에 대한 연구를 소개 합니다. 

• Domain Generalization With MixStyle 

🙋🏻‍♂️ 강의 관련 예상 질문

Q. 수학적인 지식이 많이 필요한가요?
A. MLP부분에서 조금 필요하긴 합니다만, 없으셔도 전체적인 강의를 들으시는 데에는 지장이 없습니다.

Q. python을 다룰줄 알아야 하나요?
A. 네, python을 어느정도 할 줄 안다는 전제하에 수업을 진행합니다. 다만 딥러닝을 위한 PyTorch 테크닉도 한시간 가량 다루고 있습니다.

Q. 어떤 논문을 리뷰하나요?
A. 딥러닝에 관하여 읽기 쉽고, 기여도가 매우 높은 논문을 주로 리뷰 합니다. 새로운 좋은 논문을 발견할 때 마다 논문 리뷰 영상을 추가할 예정입니다.

실습 지식 공유자 소개

🙆🏻‍♀ Justin

 - 연세대 산업공학과 석사과정

 - DataScience/딥러닝 연구 

 - https://github.com/Justin-A