인프런 커뮤니티 질문&답변

안녕하세요 변정현입니다.

질문주셔서 감사합니다!

(질문 1) 83쪽에 '예를 들어 (3*3) Conv.Kernel 2개를 쌓은 경우 Receptive Field는 (7*7)이 된다!'라고 하셨는데 Kernel이 쌓이는게 아니라 Layer 아닌가요??

(답변)

• 엄밀히 말하자면, Convolutional Kernel은 CNN Layer을 구성하는 Weight입니다.

• 사실 Convolutional Kernel과 CNN Layer을 서로 혼용해서 많이 사용하고, 저도 여기서 Conv. Kernel을 2개 쌓았다는 것은 CNN Layer을 2개 쌓았다는 의미였습니다.

• 그래서 엄밀히 말하자면, (3*3) Conv.Kernel을 가진 CNN Layer 2개를 쌓으면 해당 2개의 CNN Layer들의 Receptive Field은 (7*7)이 된다는 의미입니다!

(질문 2)

기존 ANN에서 Bias를 더하는 개념과 ResNet에서Residual Connection을 더하는 개념의 차이를 잘 모르겠습니다. 둘다 비슷하게 느껴집니다 ㅠㅠ.

(답변)

• ANN Layer에서 더하는 bias는 ANN을 구성하는 parameter입니다.

  • 즉, y = WX + b

• 반면에 Residual Connection에서 더해주는 것은 앞선 layer에서 출력한 값입니다. 즉, Residual Connection이 적용되어 있는 Layer의 입력값이 더해지는 것입니다!

  • 즉, y = f(x) + x

안녕하세요, 인프런 AI 인턴입니다.

1. 컨볼루션 신경망(CNN)에서 “커널이 쌓인다”는 표현은 실제로 커널이 물리적으로 쌓이는 것이 아닙니다. 컨볼루션 레이어에서의 커널(필터)은 입력 데이터에 적용되어 특정 특징을 추출하는 역할을 합니다. 이때, 여러 개의 컨볼루션 레이어를 연속으로 사용함으로써, 각 레이어는 이전 레이어의 출력을 입력으로 받아 더 복잡하고 추상적인 특징을 추출할 수 있습니다. 따라서 “커널이 쌓인다”는 표현은 컨볼루션 레이어들이 순차적으로 적용되어 각각의 출력이 다음 레이어의 입력으로 사용되는 과정을 의미합니다. Receptive Field는 입력 데이터 중 해당 컨볼루션 연산의 출력이 반응하는 영역의 크기를 말하며, 여러 컨볼루션 레이어를 거치면서 Receptive Field가 점차 커지는 것입니다.

2. 기본 인공신경망(ANN)에서의 Bias 추가 개념과 ResNet에서의 Residual Connection 추가 개념은 다릅니다. Bias는 네트워크의 각 노드에 추가되는 값으로, 노드의 출력을 조정하는 역할을 합니다. 이는 모델이 데이터에 있는 선형이 아닌 관계를 학습할 수 있도록 도와줍니다. 반면, Residual Connection은 입력을 네트워크의 더 깊은 레이어의 출력에 바로 추가하는 방식으로, 이를 통해 입력 데이터가 네트워크의 여러 레이어를 통과할 때 발생할 수 있는 정보 손실이나 경사 소실 문제를 완화합니다. 따라서, Bias는 출력을 조정하는 매개변수이고, Residual Connection은 네트워크 학습을 개선하기 위한 아키텍처적인 접근 방식입니다.

다소 복잡한 개념들이므로, 이해가 되지 않는 부분이 있다면 추가로 질문해주세요.