안녕하세요-섹션 3 RCNN의 이해 02 강의에서 강의노트 중RCNN Training - Classification 제목의 강의안에서 질문드립니다. F.E에서 Ground Truth와 SS Predicted된 영역 IOU가 0.5 이상인 경우만 해당 클래스로, 나머지는 back ground로 fine-tuning했는데 SVM Classifier에서 Ground Truth로만 학습하되 0.3 IOU이하는 Background로 설정하는 방식을 병행하는 이유가 있는지 궁금합니다! 처음부터 F.E에서 IOU를 0.3으로 설정하는 방법도 있었을텐데.. 2단계로 나눠서 순차적으로 IOU를 낮추는 게 어떤 차이가 있는지 궁금합니다!F.E에서 IOU가 0.5 이상인 이미지만 filtering했는데 SVM에서 0.3 이하인 image가 남아 있을 수 있는 건 지, 제가 이해를 잘 못한 건지도 여쭤봅니다!

안녕하세요, 선생님kaggle에서 mm_mask_rcnn_train_nucleus.ipynb 시도하려고 하니,버전 충돌의 문제인지 아래와 같이 계속 오류가 발생해서 코드를 실행하지 못하고 있습니다. 버전 문제라는 답변을 참고하여 torch버전을 낮춰서 다운로드 받아도 동일한 현상이 반복되어서, 어떻게 하면 될지 문의드립니다..오류 메시지입니다.No CUDA runtime is found, using CUDA_HOME='/usr/local/cuda' /usr/local/lib/python3.10/dist-packages/mmcv/__init__.py:20: UserWarning: On January 1, 2023, MMCV will release v2.0.0, in which it will remove components related to the training process and add a data transformation module. In addition, it will rename the package names mmcv to mmcv-lite and mmcv-full to mmcv. See https://github.com/open-mmlab/mmcv/blob/master/docs/en/compatibility.md for more details. warnings.warn( --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) <ipython-input-1-43071be0880a> in <cell line: 2>() 1 # 런타임->런타임 다시 시작 후 아래 수행. ----> 2 from mmdet.apis import init_detector, inference_detector 3 import mmcv /usr/local/lib/python3.10/dist-packages/mmdet/__init__.py in <module> 1 # Copyright (c) OpenMMLab. All rights reserved. 2 import mmcv ----> 3 import mmengine 4 from mmengine.utils import digit_version 5 ModuleNotFoundError: No module named 'mmengine' --------------------------------------------------------------------------- NOTE: If your import is failing due to a missing package, you can manually install dependencies using either !pip or !apt. To view examples of installing some common dependencies, click the "Open Examples" button below. ---------------------------------------------------------------------------

안녕하세요 권철민 선생님 선생님 강의로 많은 도움을 받고 있습니다항상 감사드립니다 오늘은 질문이 있어서 글을 올립니다 Mask RCNN에서 세그멘테이션을 할때 선생님 코드를 보면 인식하고 싶은object수 만큼만 클래스를 잡아주시던데 백그라운드는 따로 클래스로 지정할 필요가 없나요?  어떤 자료들을 보면 클래스 수가 object수+1이라면서 0번째 클래스를 background로 설정하던데요 VOC dataset 으로 실습하실때도클래스 수는 20으로 설정하셔서요 저는 제가 인식하고 싶은 물체가 5개인데백그라운드도 클래스로 넣어야하는건가라는 생각이 들었습니다class MyDataset(CocoDataset): CLASSES = ('Object01', 'Object02', 'Object03', 'Object04', 'Object05' )cfg.model.roi_head.bbox_head.num_classes = 5 cfg.model.roi_head.mask_head.num_classes = 5 백그라운드까지 넣으면 이렇게 6으로 설정하는걸까요?class MyDataset(CocoDataset): CLASSES = ('background', 'Object01', 'Object02', 'Object03', 'Object04', 'Object05' )cfg.model.roi_head.bbox_head.num_classes = 6 cfg.model.roi_head.mask_head.num_classes = 6

안녕하세요, 강사님!Mask RCNN 성능지표 관련해서 질문이 있습니다. 보통 classification 논문에서는 성능지표를 confusion matrix, accuracy, precision, recall, f1 score로 많이 쓰던데 semantic segmentation 논문에서는 mAP, mIoU, pixel accuracy를 많이 쓰나요? 논문마다 쓰는 지표가 다른 것 같아서 보편적으로 쓰는 성능 지표가 궁금합니다. 강의에서는 segmentation 성능지표 코드가 없어서 detection 강의 쪽 코드를 보면서 조합해보고 있는데 커스텀 데이터셋을 config나 registry에 등록해주는 과정이 필요한가요? 

안녕하세요 선생님외부 데이터를 가지고 교안 코드를 돌려보는 중인데요 데이터를 자꾸 background로 잡아버려서 학습이 불가합니다... 클래스 개수는 하나이고, coco json 파일에 할당도 아주 잘 되었는데 사진과 같이 모듈에서 배경으로 분류를 해 버립니다..ㅠㅠ 이런 경우 어떻게 해결해야 할런지요 

안녕하세요 선생님. 제가 다른 이미지 데이터를 가지고 fasterRCNN을 실습 중인데요, 정말 고생해서 어떻게 데이터 셋은 만들 거 같은데 학습이 돌아가지 않네요- mmdet - INFO - Automatic scaling of learning rate (LR) has been disabled.이런 에러가 뜹니다.뭐가 문젠지 1도 모르겠고, 설정 파일이나 데이터셋 형식이나 너무 복잡하고 어렵네요ㅠㅠhttps://drive.google.com/file/d/1P3nfyaeWCBdGj29KYL_J0u2_ygGeuPdf/view?usp=sharing부디 검토부탁드립니다. 감사합니다. 

안녕하세요 선생님!선생님 강의해주신 내용 바탕으로 개인 프로젝트를 진행하는 와중에 10일동안 구글링을 통해서도 해결을 못한 문제가 있어 여쭤봅니다..!AI허브(https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100)에서 받은 컨테이너고유번호(BIC)를 FasterRCNN으로 detect하는 코드를 작성중인데, 6천개로 학습시키고 학습시켰던 데이터 일부로 evaluation을 하면 검출을 잘 하는데, 새로운 데이터(학습데이터와 유사한 이미지)로 evaluation을 하면 아무것도 검출을 못하는(빈 텐서만 출력) 현상이 일어납니다. 에폭을 1부터 10까지 해보고 loss가 0.01까지 줄어들며 수렴하는것을 확인했는데도 아무것도 검출을 못하네요.ㅇ모델 : pytorch fasterrcnn_resnet50_fpn(pretrained=True)ㅇ학습과정 * 구글코랩 활용1. AI 허브 json파일을 coco 형식으로 변경(시각화를 통해 정상변경 확인)2. customdataset 정의3. 학습환경 설정 및 학습4. 가중치 저장5. evaluation 환경 설정(pretrained=False) 및 evaluation(가중치 로드)6. pycocotools로 평가지표 출력 구글코랩에서 작성한 코드는 링크로 첨부했습니다.https://colab.research.google.com/drive/1dq4wx7M5GFwLSrz8lcCLIL431Othr94Otrain 모드 모델정의하고, eval모드 모델 정의하는 부분에 뭔가 오류가 있는것 같은데 못 찾겠습니다...ㅜㅜ

yolov3 과 darknet 의 차이좀 명괘하게 알려주세요. 학습 시키려면 어떤걸로 사용해야 하는지?

단어를 어떻게 말씀드려야 할지 모르겠어서 이중 객체 검출이라는 용어를 사용했습니다.앞 선 질문에서 "몸 전체에 대한 레이블링과 얼굴 부분에 대한 레이블링, 총 2가지 레이블링" 이라고 하신 부분에 이어 질문이 있습니다.예시를 들어 자동차의 번호판 같은 것을 검출하고 싶을 때 입니다. 바로 번호판을 Annotation 작업을 해서 수행하면 상가 간판, 도로 표지판 등 네모난 물체에 글씨가 적혀있는 부분까지 오인 검출이 됩니다. 따라서 자동차를 먼저 검출하고 자동차 번호판은 자동차에만 있으니 이어서 번호판을 검출하도록 알고리즘을 작성하면 효율성이 올라갈 것 같아서 해보려고 합니다. 이렇게 이중으로 검출을 하고 싶다면 알고리즘을 어떻게 작성할지 큰 틀이 궁금해서 질문 드립니다. 직접Annotation 작업을 한다면 어떻게 해야 하는지, 그리고 올려주신 YOLO V5를 사용한다고 한다면 어떻게 이중으로 검출하라고 알고리즘을 구성할지 궁금합니다. 추가 질문으로는 객체 검출 알고리즘(YOLO 등)의 가중치가 Pre-training 된 것을 사용하는 부분입니다. 제가 이해한 학습이란 객체 검출 알고리즘을 사용하려고 하는 데이터에 대해 훈련을 시키면 가중치가 업데이트 되며 학습이 되는 것 입니다. 근데 Pre-training된 것을 사용하는 것에 어떤 의미가 있는지 궁금합니다.강의 재미있게 수강하고 있습니다. 감사합니다!

안녕하세요, 선생님. 늘 좋은 수업 감사합니다. 다름이 아니라, object detection을 위한 custom dataset annotation을 만드는 도중에'겹쳐져있는 물체'에 대한 의문 사항이 생겨 글 남깁니다.가급적 bounding box끼리는 겹치지 않게 하는 것이 좋다고 강의 중 언급하셨는데요,다른 class가 아니라 같은 class의 물체가 겹쳐있을 때에도 둘 이상의 bbox는 겹쳐서는 안되나요?겹침을 피하기 위해 bbox를 그리다보니 첨부 이미지와 같이 물체 전체를 담지 못하고 일부가 잘리게 되는데요, object detection 예시들을 보면 겹쳐있는 물체(ex.이동중인 사람들)들도 각각을 잘 감지하는 것을 확인할 수 있습니다. 겹치지 않도록 annotation한 ground truth를 학습했는데 어떻게 그와 같은 결과가 가능한 걸까요?

 우선 강의 너무 잘 들었고, 유용하게 활용할 수 있을 것 같아 너무 감사합니다!!문의 드릴 내용은 마지막 강의 커스텀 학습 시 다운받은 수업자료가 오류가 있는지 압축이 제대로 풀리지 않는데 확인 부탁드립니다.추가로 DCPose 커스텀 데이터 학습 후 웹캠 등을 활용하여 실시간 자세 추정 데모 강의도 추가해주실 수 있는지 문의드립니다.

안녕하세요, 강사님!항상 친절한 답변 덕에 하나씩 하나씩 잘 헤쳐나가고 있는 중입니다.지금은 mm_mask_rcnn_train_balloon 코드를 기반으로 커스텀 데이터셋을 계속해서 연습해보고 있는 중입니다.직접 폴리곤을 그려서 클래스 2개까지는 잘 성공을 했다가 클래스 3개로 늘려서 연습해보고 있는 중인데 아래와 같은 문제가 계속해서 발생하는데 해결을 못하고 있습니다.

4:34를 보면서 질문드리고 있는데 이해하고 있는 부분이 맞는지 모르겠습니다 첫번째 300* 300* 3의 이미지가 첫번째 conv를 통과하여 생성된 38*38*512의 feature map에서 3*3 4(anchor box개수)*(pascal data set이라면 20 + 1+ 4: 바운딩박스 좌표)를 해서 마지막 detection 단으로 보내서 학습을 하는 것 까지 이해를 하겠는데, 3*3 과 같은 컨볼루션을 통해 바운딩박스가 학습되는 원리를 모르겠습니다. 여기서 2가지 conv연산이 들어가는데 그 중 하나는 앵커박스를 통하여 바운딩박스를 학습하고 다른 하나는 컨볼루션 연산을 통해서 feature map의 사이즈를 줄이는(정보를 압축?) 하는 쪽으로 하는게 맞는지요..글 주변이 없어서 죄송합니다.

안녕하세요. Mask RCNN으로 프로젝트 진행하던 중 하나의 객체에 대해 영역이 매우 유사한 BBox가 2개씩 나타나는 현상이 생겨 NMS에 관해 다시 공부하던 중 수행 로직과 관련하여 몇가지 궁금증이 생겨 글 남깁니다.우선 Confidence Score란 것이 단순히 박스안에 물체가 있을 확률을 의미하는 것인지, 아니면 박스안에 물체가 해당 Class일 확률을 의미하는 것인지 헷갈립니다. 단순히 물체가 있을 확률만을 의미하는 것이라면, 저의 경우에서 영역이 매우 유사한 BBox간은 IOU가 매우 높으니 제거되어야 하는게 아닌가요?? 만약 해당 Class일 확률을 의미하는 것이라면 NMS 과정이 예측된 Class별로 수행이 되는 것인지(ex. 차에 대한 BBox들끼리 NMS수행) 궁금합니다.학습 과정에서 문제가 생겼을 수 있다 판단하여 모델 전체를 재학습을 진행하고 있긴 합니다만, 위 질문들에 대해 궁금점이 남아 글 남깁니다. 

안녕하세요, 강사님.CVAT로 Segmentation 커스텀 데이터셋을 만들 때폴리곤을 이용하여 해당 영역을 마스크를 해주었을 때는 결과가 잘 나오는데폴리라인으로 영역을 표시해주고 테스트를 하니 마스크 형태로 영역이 잡혀서 나오더라구요.폴리곤이 아닌 폴리라인을 이용하여서는 segmentation 결과를 얻을 수 없나요?  

안녕하세요. 선생님의 강의를 열심히 듣고 있는 직장인입니다.다름이 아니라 설계도면에서 특정 기호를 찾아야 하는 업무가 있는데 Selective Search를 이용하여 특정 기호의 이미지를 먼저 인식시키고, 그 다음에 입력되는 도면들에서 해당 기호가 있는 곳을 표시하는 작업을 해보고 싶습니다.해당 방법을 이용하면 될지, 아니면 더 좋은 방법이 있을지 문의드립니다.

3:23 에서 질문을 드리고 있습니다!예측 BBbox 와 positive 좌표차이가 Ground truth와 positive 좌표차이와 같게 만든다고 하셨는데 가령 빨간점이 파랑 점과의 거리 가 같은 곳은 무수히 많다고 생각하는데 단순히 거리를 줄이는 것이 어떤 원리로 regression이되는지 이해가 되지 않습니다.

안녕하세요 선생님,궁금한 점이 생겨 이렇게 질문 남깁니다.지금 torchvision의 faster r-cnn을 이용해서 object detection 프로젝트를 수행하고 있는데여기서 제가 궁금한 점은 2가지 입니다.사용하고 있는 데이터가 mask 정보가 없는, bounding box와 카테고리 정보만 담겨있는 custom data인데 mask정보 없이 mask R-CNN에서도 실행해볼 수 있을까요??mask 정보 없이 mask R-CNN을 사용하는 것은 faster R-CNN을 사용하는 것과 차이가 없을까요?? 1번을 시도하는 것은 의미 없는 일인 것인지 궁금합니다.감사합니다.

1:01의 그림을 보면서 질문드리고 있습니다!원래 CNN을 거치면 FC layer에 가기전에 여러개의 피처맵을 Flatten 해서 맞춰주는데 지금 그림에서 Conv Network를 통과한 feature 이미지는 하나만 있다고 표현되는데 왜 그런건가요? 제 생각대로라면 Flatten이 되기전에는 여러 피처맵이 있는걸로 알고 있습니다.그리고 이미 vggnet 을 통해서 나온 피처맵을 3*3 conv를 하는 이유를 모르겠습니다. conv를 적용하지 않고 그냥 1*1 conv를 하는 것이 나을거라 생각하는데 이해가 잘 되지 않습니다.

구글링을 해도 도저히 답을 못 찾겠어서 질문 드립니다. 지금 맡고 있는 프로젝트에서는, 총 4개의 class가 masking되어있는 이미지 형태로 annotation이 준비되어 있고 이걸 json annotation으로 만들어야 하는데 이럴 경우에는 어떻게 해야 하죠?