인프런 커뮤니티 질문&답변
작성한 질문수
선생님. 강의를 듣다보니, batch 크기와 관련하여 질문이 있습니다.
작성
·
201
0
선생님. 강의를 듣다보니, batch 크기와 관련하여 질문이 있습니다.
강의 말미에 GPU는 batch크기가 클수록 학습이 빨라져서 속도가 빠르다고 하셨습니다.
그렇다면, H/W의 성능이 좋다는 가정하에, batch 크기를 증가시키면 같은 결과지만 속도가 빨라지는 차이만 있는것인가요?
아니면, 학습을 시키는 적정한 batch 사이즈가 있는것인가요?
답변 1
0
권 철민
지식공유자
안녕하십니까,
딱 정해진 batch_size는 없습니다.
이미지 크기에 따라서 달라질 수는 있지만, 일반적으로 batch_size는 8 ~ 64 정도면 적절해 보입니다. 작은 이미지 보다 큰 이미지가 GPU메모리를 더 많이 잡아 먹습니다.
128, 256도 가능하지만, 웬만한 GPU 메모리로는 어려울 수 있습니다.
그리고 메모리가 가능하더라도 batch_size가 너무 크면 학습 속도는 빨라지더라도 성능이 약간 떨어질 가능성이 있습니다. 물론 크게 의미 있는 수치는 아니지만, 전체 이미지의 갯수가 많지 않다면 아무래도 gradient descent를 구하고 적용하는 횟수 자체가 줄어들기 때문에 성능이 떨어질 가능성이 있습니다.
감사합니다.