인프런 커뮤니티 질문&답변

Alex님의 프로필 이미지
Alex

작성한 질문수

딥러닝 CNN 완벽 가이드 - Fundamental 편

확률적 경사하강법(Stochastic Gradient Descent)와 미니 배치(Mini-batch) 경사하강법 이해

안녕하세요 선생님 질문입니다!

작성

·

194

0

강의 내용에서 이터레이션이 1000이고 전체 데이터수가 10만이라면 단순히 연산량으로 봤을 때 10만건의 데이터를 각각 1000번씩 돌려서 웨이트를 업데이트 한다라는 의미가 맞나요?

답변 1

0

권 철민님의 프로필 이미지
권 철민
지식공유자

안녕하십니까,

지금 질문하신 부분이 경사하강법인지, 확률적 경사하강법(SGD)인지, 미니 배치 방식인지요?

만약 질문하신 부분이 경사하강법이라고 한다면, 맞습니다.

하지만 SGD의 경우는 전체 데이터에서 1개만, 미니 배치의 경우는 배치 사이즈 만큼만 추출해서 Weight를 update합니다.

아래에 그동안 SGD, 미니 배치 시 Weight update 횟수에 대한 질문과 답변이 있습니다. 참고하시면 좀 더 도움이 될 것 같습니다.

게시판에서 미니 배치, Batch등으로 찾아보시면 됩니다.

https://www.inflearn.com/questions/297099/mini-batch%EC%9D%98-%EC%9D%B4%ED%95%B4

https://www.inflearn.com/questions/620525/%EB%AF%B8%EB%8B%88%EB%B0%B0%EC%B9%98-%EA%B4%80%EB%A0%A8-%EC%A7%88%EB%AC%B8

감사합니다.

 

Alex님의 프로필 이미지
Alex
질문자

선생님 너무 감사드립니다! 오늘도 좋은 하루 되시길 바랍니다!

Alex님의 프로필 이미지
Alex

작성한 질문수

질문하기