디렉토리와 jpeg 파일명을 읽는 파일의 절대경로 위치 관련 질문
네 먼저 바쁘신데 답변 주셔서 감사합니다.현재 S3 자체가 아닌 학습하려는 이미지가 JPG 파일 형식으로 300GB정도 쌓이고, 에어플로우로 매일 추가적인 이미지 파일을 쌓고 있습니다.서치를 진행해보니 Custom data generator를 활용하여 S3에 있는 파일을 처리하는 방법이 있고, 말씀주신 것처럼 별도의 로컬 파일 시스템으로 다운로드를 진행하는 방법이 있는데요. 세이지메이커 스펙을 결정하여 띄울 때, 적어도 300기가 바이트를 감당할 수 있도록 EBS 볼륨을 조정한 후 처리하도록 시도하는데, EBS 볼륨뿐만 아니라 디스크도 300기가 바이트보다 반드시 커야할까요? (GPU를 여러개 활용하여 병렬로 학습해보려 합니다)그리고 혹시 300기가 바이트가 학습하는데 너무 크다고 말씀해 주셔서 페이지에 전시될 수 있는 이미지들만 필터를 한 후 학습을 진행하려고 하는데요.전이학습을 데이터에 적용한 후, Weight를 저장한 후 다음에는 기존 데이터 추가없이 신규 이미지들만 기존 모델에 재학습 시켜도 괜찮을지 문의드립니다.