[sec. 2-8 실습] 배치사이즈의 선택

Question

안녕하세요. 좋은 강의 잘 듣고 있습니다. 반복해서 여러 차례 들을 수 있어서 정말 좋습니다.

조금 기초적인 질문인가 싶은데요.

아래 이미지에서 질문이 있습니다.

맨 아래 셀의 코드

x = torch.rand(8, 128)에서 배치 사이즈를 8로 정하는 이유를 질문드립니다.

in feature가 128이고, out feature가 64라서 대략 2의 배수가 선택된 것인가 추측합니다.

다음 시리즈 기다리고 있습니다. 감사합니다.

변정현 · Answer

안녕하세요! 답변이 늦어져서 죄송합니다 ㅠㅠ 네 아래 인프런 AI 인턴의 답변이 맞습니다!

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다.

iklee님, 질문해 주셔서 감사합니다. 딥러닝에서 배치 사이즈는 주로 모델의 학습 성능과 메모리 효율성에 큰 영향을 미치기 때문에 중요한 선택입니다.

배치 사이즈를 8로 정한 이유는 여러 가지가 있을 수 있습니다:

메모리 효율성: 배치 사이즈가 크면 학습에 필요한 메모리가 많이 필요하기 때문에, 메모리 제한에 맞추기 위해 작은 배치 사이즈를 선택할 수 있습니다.
학습 성능: 작은 배치 사이즈는 매 반복마다 더 자주 가중치를 업데이트하여 수렴 속도가 빠르게 됩니다. 하지만 너무 작은 배치 사이즈는 모델이 안정적으로 수렴하지 않을 수 있습니다.
개발 및 테스트 목적: 때로는 빠른 개발 및 테스트를 위해 작은 배치 사이즈를 사용할 수 있습니다.

배치 사이즈가 2의 배수인 이유는 GPU 메모리가 보통 2의 배수로 동작하기 때문입니다. 따라서 연산 효율성을 높이기 위해 2의 배수로 선택하는 것이 일반적입니다.

이유는 다양하지만, 결국 배치 사이즈는 모델, 데이터, 하드웨어 리소스에 따라 최적화되어야 합니다. 마찬가지로 다른 배치 사이즈로 실험하여 성능을 비교해 볼 수 있습니다.

계속해서 좋은 학습 되시기 바랍니다! 다음 시리즈도 많은 기대 부탁드립니다. 감사합니다.

인프런 커뮤니티 질문&답변