인프런 커뮤니티 질문&답변
작성한 질문수
mAP 성능결과에 대한 기준이 궁금합니다.
작성
·
1K
0
안녕하세요 선생님. Mask-RCNN 을 이용한 프로젝트를 수행하면서 궁금증이 생겨 질문드립니다. 질문에 대한 답이 상대적이고 주관적일 수 있지만 약간의 기준이라도 얻고싶어 질문 남깁니다.
해당 강의를 통해 mAP가 높은 모델일수록 재현율, 정밀도가 함께 좋은 성능을 보이는 균형잡힌 모델이라고 이해를 하였습니다. 이번에 Mask-RCNN을 학습하여 테스트 데이터셋에 적용하였을 때, IOU 0.5 기준 mAP=60.3, 0.75 기준 mAP=47.4 성능의 모델을 만들었는데, 이와 같은 성능을 두고 해당 모델이 사용하기 적합하다 혹은 추가적인 튜닝이 필요하다와 같은 결론을 내리는 과정에서 어려움이 있습니다. 이에 대한 기준이 절대적이지 않겠지만, mAP에 대하여 통상적으로 사용되는 대략적 기준이 있는지 궁금합니다.
추가적으로 Mask-RCNN의 경우 BBox에 대한 성능 외에 Segmentation에 대한 mAP 성능이 나오던데, 이는 Masking의 픽셀에 대해서 IOU를 계산한 것인지 궁금합니다.
답변 1
0
안녕하십니까,
mAP가 어느 수준이 좋은것인지는 기준이 정해져 있지 않습니다.
다만 모델별로 Pascal VOC이나 MSCOCO 데이터 세트별 난이도 또는 0.5 IOU는 그보다 높은 IOU 기준에서 mAP지표 들이 있으니 이를 참조해서 어느 정도 수준이 적정한 것인지 가늠해 볼수는 있습니다.
예를 들어 데이터 세트가 일반적으로 Object Detection을 수행하기가 상대적으로 용인한건지의 기준을 Pascal VOC 로 정할수도 MS-COCO로 정할 수도 있습니다.
일반적으로 MS-COCO가 Pascal VOC 보다 더 오브젝트 검출 난이도가 높습니다.
Yolo v3가 MS-COCO에서 IOU 0.5 일 때 50중후반대 mAP인데, IOU 0.75에서 30중후반대 mAP입니다. 물론 Yolo V3의 경우 상대적으로 작은 오브젝트들에 대한 Detection에서 성능이 많이 떨어지긴 합니다.
이러한 기준점들을 감안해서 검출하신 데이터 세트가 MS-COCO보다는 더 쉬운 데이터 인지, 아님 더 어려운 데이터 인지 판단하셔서 감안해 보시면 좋을 것 같습니다.
개인적인 생각으로는 IOU 0.5 기준 mAP=60.3, 0.75 기준 mAP=47.4 성능의 모델은 괜찮은 성능입니다. 다만 Object들의 건수가 많지 않고, 대부분의 Object들이 매우 크다면 평균적인 성능의 모델로 판단됩니다.
그리고 Mask RCNN과 같은 Segmentation의 mAP는 말씀하신대로 픽셀과 픽셀 기준으로 계산됩니다.
감사합니다.