인프런 커뮤니티 질문&답변
작성한 질문수
Object Detection 성능평가 지표 mAP의 이해 02/ AP, mAP 계산하기
작성
·
741
0
안녕하세요? 강사님!
또 질문을 드리네요~ ^^
Object Detection 성능평가 지표 mAP의 이해 02번 강의를 들었습니다.
AP를 구할 때 Confidence에 따른 Precision과 Recall변화를 구해서 AP계산한다고 이해했습니다.
[AP 계산]
1번. 한 개의 이미지에서 한 개의 오브젝트가 있다면 , 오브젝트에 대해서 confidence를 0.1 ~ 0.9까지 변경을 시켜가면서 Precision과 Recall 값을 구해서 AP를 계산합니다.
2번. 그리고 최종 모델의 성능은 1번에서 계산된 모든 AP에 대한 평균으로 산출합니다.
[mAP계산]
*. mAP는 object가 여러 개인 경우에 해당 합니다.
1번. 한 개의 이미지에서 여러 개의 object가 있다면 , 각 object에 대해서 confidence를 0.1 ~ 0.9까지 변경을 시켜가면서 Precision과 Recall 값을 구하고, 그 구한 AP에 대한 평균을 계산하면 mAP입니다.
2번. 그리고 최종 모델의 성능은 1번에서 계산된 모든 mAP에 대한 평균으로 산출합니다.
[coco challenge의 mAP]
그리고 coco challenge에서의 mAP는 confidence가 아닌 IOU값에 따른 mAP계산합니다.
제가 제대로 이해했는지요?
감사합니다.
답변 1
0
안녕하십니까,
질문은 언제든 환영입니다.
AP계산, mAP 계산 모두 말씀하신 사항이 맞습니다. Confidence Threshold 값을 변경하면서 Recall 포인트 별로 최대 Precision의 평균값을 구합니다(그래서 AP:Average Precision 입니다)
Coco 역시 mAP는 동일한 개념입니다. 다만 Pascal VOC는 정확하게 예측했다의 기준이 예측bbox와 실제 bbox가 50%이상 겹치면(즉 IOU가 0.5이상) 정확한 예측으로 판단해서 mAP를 계산합니다.
하지만 Coco는 정확하게 예측했다의 기준이 좀더 엄격합니다. IOU를 0.5부터 완벽하게 맞은 0.95까지 0.05씩 기준을 변경해 가면서 측정합니다. IOU 0.5 일때 보다는 0.95 일때 당연히 mAP가 떨어질 수 밖에 없는데, IOU 0.5 일때의 mAP 부터 0.95일때의 mAP를 평균해서 mAP 결과를 인정합니다. 상대적으로 VOC 평가 기준보다 매우 엄격한 잣대로 mAP를 평가합니다.
감사합니다.