👩‍💻Team PlayCarnival

생성일

2023/08/25 10:10

태그

기간

2021.02 ~ 2021.10

담당업무

AI Engineer

설명

카테고리

창업동아리

풋살 경기 자동 촬영 및 편집 시스템 개발

•

광각카메라 2대 기계 양 옆을 바라보도록 설치

•

image stitching을 통한 경기장 전체 영상 획득

•

편집 알고리즘 적용을 통해 리플레이 영상 생성 

•

초기 모델은 라즈베리파이를 기반으로 설계되었으나 이후 jetson nano 보드 기반으로 변경

YOLO-v5 모델 적용

backbone으로 CSP Darknet 사용

Darknet에 CSP를 적용

→ CSP : feature fusion전략을 통해 transition layer를 사용함으로써 연산량을 줄이고 bottleneck을 삭제

object detection의 전통적인 문제인 작은 객체 인식(공)에 대한 성능이 낮은 문제

•

많은 데이터 확보가 최우선이라고 판단

4000장정도의 크롤링

40000장 정도의 외주( 한성대학교 풋살장에서 촬영한 샘플영상)

→ 비슷한 데이터들이 많고, 다양한 환경의 데이터가 필요하다고 판단(밤/낮, 잔디/흙 등)

크롤링과 copy & paste augmentation

Deep-SORT 알고리즘 활용

작은 공 객체에 대한 성능 향상은 계속해서 가져가야 하는 문제라고 판단

사람 객체들에게 Deep-SORT를 적용해 이동량을 계산해 리플레이 영상 알고리즘에 적용해보고자 함.

간단하고 성능이 좋은 알고리즘이지만, ID switching이 너무 많이 발생했다.

우리의 영상은 사람이 13명에서 많아봤자 17~18명의 사람이 등장하므로 id switching을 가능한 최소화

track의 수명인 max_age를 영상전체로 설정해 한번 할당된 track은 제거되지 않도록 설정

track을 할당하는 기준이 되는 max_iou_distance를 낮춰보는 방법( 할당이 조금 더 너그럽게 되도록)

위의 두 방법으로 어느정도 id switching이 감소 → id할당이 990대에서 200대 정도로 감소

id번호를 13으로 제한 : 생성된 tracker와 할당 기준이 만족되지 않아도, 최대한 state가 가까운 것으로 detection과 tracker를 무조건 할당 

공의 위치 및 움직임 벡터와 사람들의 움직임 벡터들을 기준으로 각 프레임 crop 영역을 결정