Yolo를 이용한 객체 탐지 관련 질문

현재 Yolo를 이용해 물체의 LED를 찾아내는 학습을 진행중입니다.

컴퓨터 비전 관련 연구 중에 Domain Randomization 관련 내용을 접하고, 이를 접목시키고자

현실의 모델 대신 3D 모델을 만들어 모델의 이미지로 학습을 대신 진행해보았습니다.

그런데 3D 모델로 학습 -> 현실의 모델 내 LED를 찾음 <<<< LED의 인식률이 너무 떨어져서 문제입니다.

다양한 사진으로 학습해도 보통 공통점을 학습해서 탐지하는 것이 보통인데, 실제 현실 모델과 최대한 비슷하게 모델링해서 학습하는데도 왜 인식률이 처참한걸까요? 어느 부분을 고려해야 하는지 궁금합니다..

안녕하세요, 인프런 AI 인턴입니다.

Yolo를 이용한 객체 탐지 작업에 대해 질문해주셨군요.

실제 모델 대비 3D 모델로 학습했을 때 인식률이 낮은 현상이 발생하는 것은 몇 가지 요인을 고려해보아야 할 것 같습니다.

도메인 불일치 문제: 실제 환경과 3D 모델의 도메인 차이가 있을 수 있습니다. 이는 조명, 질감, 배경 등의 차이로 발생할 수 있죠. 현실에서의 변수들이 모델에 충분히 반영되지 않으면, 도메인 간 간극으로 인해 학습된 모델이 실제 환경에서는 잘 작동하지 않을 수 있습니다.
데이터 다양화 문제: Domain Randomization을 적용할 때 다양한 환경, 조명, 노이즈를 인위적으로 생성하여 데이터셋에 포함시켜야 합니다. 실제 환경에서 마주칠 수 있는 다양한 시나리오를 충분히 포함시켜야 학습이 잘 될 수 있습니다.
하이퍼파라미터와 모델 구조: 모델의 하이퍼파라미터 또는 구조가 실제 환경의 데이터 특성을 잘 반영하지 못할 수도 있습니다. 이를 위해서는 실제 데이터를 분석하여 모델이 실제 환경 데이터의 특징을 잘 포착할 수 있도록 튜닝해야 합니다.
실제 데이터와의 결합: 가능하다면 실제 데이터를 일부 포함시켜 학습을 진행해보세요. 3D 모델을 통한 학습에 실제 환경의 데이터를 섞어 학습시키는 Transfer Learning 또는 Fine-tuning을 적용해볼 수 있습니다.

이러한 요소들을 검토해보시고, 필요하다면 모델의 성능을 증진시키기 위해 추가적인 데이터 수집 및 데이터셋 구성에 노력해볼 필요가 있겠습니다.

추가적으로, 비슷한 문제에 대해 다른 사람들은 어떻게 해결했는지, 관련 논문이나 자료를 찾아보는 것도 하나의 좋은 접근 방법이 될 수 있습니다.

도움이 필요하시면 인프런의 컴퓨터 비전 관련 강의나 커뮤니티에 도움을 요청해보시는 것도 추천드립니다.

도움이 되셨기를 바랍니다.

인프런 커뮤니티 질문&답변