소개
게시글
질문&답변
2023.02.09
JdbcOAuth2AuthorizationService에서 DB에 저장시 오류 원인
질문1)의 에러 로그를 보면 insertAuthorization 메소드에서 attribute 컬럼에 Principal Class 자체를 저장하는 과정에서 발생하는 오류는 해결하였습니다.Spring Authorization Server 에서 제공하는 oauth2_authorization DDL 에서 blob type을 저장되는 데이터가 바이너리 형식이 아니기 떄문에 text로 변경하여 해결하였습니다.다만, text(변겅전) 크기 까지 필요할까 하는 의문이 드는 컬럼이 있어 적절한 사이즈로 졸이거나 redis 로 변경 예정입니다.
- 0
- 1
- 1.2K
질문&답변
2020.06.10
yolov3로 커스텀 데이터 학습시 이슈
1.이미지를 640 * 480으로 변환하고 2만장만 합습을 하니 val_loss 가 nan으로 나오는 문제는 2일 넘게 정도 학습이 진행중이였는데 발생하지 않았습니다.아마도 이미지 사이즈를 줄이면서 회전된 직사각형으로 진행된 어노터이션 결과물을 바운딩 박스로 보정하는 로직이 잘못되어 번호판이 많이 틀어진 영상은 엉뚱한 위치에 바운딩 박스가 위치하는 문제를 발견하여 수정하였는데 데이터셋 문자였던거 같습니다.다만, 할당받은T4 서버가 일요일 저녁에 가상 화페 사용이 의심되어 VM 사용이 중지되고 다시 신청한 T4 VM도 오늘 아침 home 폴더의 파일이 모두 사라져서 학급을 완료하지는 못했습니다.2. CUPTI_ERROR_NOT_INITIALIZED는 여전히 발생하고 있는데 T4 VM에서 qqwweee 패키지로 학습하면 GPU를 사용하고 있는것으로 확인 됩니다. 다만, keras-YOLOv3-model-set 로 학습하면 GPU와 관련하여 다른 오류가 나오면서 학습시 GPU를 사용하고 있지 않은데 이것은 TF 2.1 에서 요구하는 CUDA가 10.1 이상인데 T4 VM에 설치된것은 10.0인것이 원인인거 같습니다. 그리고 회사 Docker로 구성한 GPU 서버에서는 CUPTI_ERROR_NOT_INITIALIZED 하면서 GPU를 사용하지만 사용중인 프로세스 목록에는 나타나지 않고 있지만 GPU를 사용하여 학습은 진행되고 있는거 같습니다.
- 0
- 7
- 535
질문&답변
2020.06.05
yolov3로 커스텀 데이터 학습시 이슈
1.학습은 3-4시간정도 진행되고 이후 val_loss가 줄어들지 않다가 NaN로 찍었던것 같은데. 이미지 사이즈를 줄여 다시 학습하고 동일한 문제가 발생하면 정확한 로그를 공유 하겠습니다.그리고 keras-YOLOv3-model-set 개발자가 패치한것이 PUSH되어 학습하면 1번의 경고는 나오지 않고 있습니다. 학습은 좀 더 지켜봐야 할거 같고... https://github.com/david8862/keras-YOLOv3-model-set/commit/10c222869824bae1c5ace9893a6c7eb6ddc9afa4qqwweee도 140~143 라인을 수정후 해결되지 않았는데 말씀하신대로 .pycache 를 삭제하니 해결되었습니다/https://github.com/qqwweee/keras-yolo3/blob/master/yolo3/model.py2.CUPTI_ERROR_NOT_INITIALIZED는 나오고 있는데 GPU 은 78%(GPU Server), 70%(Google Cloud T4) 가 나오고 있으니 GPU 는 사용하고 있는거 같습니다.3.말씀하신대로 이미지 사이즈와 개수를 줄여서 다시 학습하려고 합니다. 이미지 사이즈를 줄이면 추론속도가 빨라질거 같은데 학습데이터셋의 수도 추론 속도에 영향을 줄까요?
- 0
- 7
- 535
질문&답변
2020.06.05
yolov3로 커스텀 데이터 학습시 이슈
1)1.번 문제는 라쿤 데이터셋에서는 발생하지 않습니다. 데이터셋의 이미지가 너무 큰거 같아 648 * 480 줄여서 학습 해보고 결과를 공유 하겠습니다.GPU를 V100이나 P100으로 할당받아 테스트 헤보려고 했는데 리소스 부족으로 할당이 안되서 진행하지 못했습니다.혹시 anchor 박스의 크기도 영향을 줄까요? 참고로 전에 공유했던 TF2를 지원하는 YOLOv3-model-set 에서도 동일한 문제가 발생하여 같이 문의 하였는데 아침에 답변을 확인하여 보니 강사님이 공유해주신것과 동일한 링크를 공유하고 패치하였으니니 최신 버전을 받아서 다시 해보라고 하는데 아직 PUSH는 안돼서 PUSH 가 되면 학습 결과를 공유 하겠습니다. https://github.com/david8862/keras-YOLOv3-model-set/issues/55아마도 qqwwee 패키지를 기반으로 개발되다 보니 qwwee 와 동일한 문제가 발생하는거 같습니다.2)이미지 개수는 40만장인데 2만장만 학습해도 동일합니다. 3)구글클라우드 : - GPU Driver Version : 410.104 - CUDA L 10.0GPU 서버(Docker로 설치) - GPU Driver Version : 440.82 - CUDA L 10.2 :
- 0
- 7
- 535
질문&답변
2020.06.01
tensorflow 2
keras-YOLOv3-model-set 는 이슈에 중국어 글이 많아서 해석하는데 불편하지만 개발자가 대응도 빠르고 사용해 보니 쓸만한거 같습니다.YOLO v4는 논문 제목도 Optimal Speed and Accuracy of Object Detection 이고 첫페이지의 COCO Dataset 그래프나 논문의 내용을 보면 v3에 검출 성능과 속도를 모두 개선한거 같은데 논문 리뷰를 보면 v3와 비교하여 검출 성능은 좋아졌지만 속도는 느려진거 같은데 논문 읽어 보셨다면 제가 논문의 내용을 파악한것이 맞을까요?
- 0
- 9
- 367