Computer Vision

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study Object Detection(객체 인식)은 Deep learning이 발전함과 함께 빠른속도로 성장했습니다. object detection에서 localization, detection, segmentation의 차이는 뭘까요? classification은 하나의 객체가 있는 영상의 class를 찾아주는 것이고, localization은 말 그대로하나의 object가 있는 영상에서 object의 위치를 찾아내는 것입니다.(Bounding box단위) Detection은 여러 object가 있는 영상에서 각 object 위치를 찾아내고, 무슨 객체인지(class) 인식하는 것(Bounding Box 단위) 까지인데, segmentation은 픽셀단위 detection이라고 할 수 있습니다.

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study localization과정을 간단히 설명하자면 1. 하나의 object가 포함된 이미지를 VGG/ResNet등을 이용해 feature extraction을 수행하고, 2. 그 결과로 나온 feature map을 FC Layer을 통과시킨 후 3. softmax를 수행하여 classification을 수행합니다. 4. 동시에 bounding box regression도 수행합니다.

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study IOU(Intersection over Union)는 모델이 예측한 결과와 실측 (Ground Truth) box가 얼마나 정확하게 겹치는 가를 나타냅니다. object detection 성능평가 지표 중 하나입니다. Object Detection에선 개별 Object대한 검출 성공 여부를 IOU로 결정합니다. 일반적으로 0.5이상이면 예측 성공으로 인정합니다(PASCAL VOC Challenge 기준) 간단히 IOU시각화 코드를 짜보겠습니다.

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study PASCAL VOC xml format annotation->객체이름, 위치, bounding box 좌상단, 우하단 좌표oU threshold: 0.520개 Object Category 하나의 이미지 내 오브젝트 개수 평균 2.4개 이미지 개수: 11kI 현재는 학습용으로는 잘 쓰이지 않음 MS COCO json format annotation 80개 Object Category하나의 이미지 내 오브젝트 개수 평균 5개 이미지개수 300Ktensorflow object detection api및 많은 오픈 소스 계열 주요 패키지는 COCO dataset으로 pretrained된 모델 제공 Google Open Images 600개 Object Category -> size매우큼 여러버전 존재.

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study chaeyeongyoon/ComputerVision_Study Contribute to chae..

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study RCNN은 2-stage object detection의 대표적인 방법입니다. stage 1 Region Prposalselective search로 2000개의 object가 있을만한 region을 추천해줍니다. stage 2 CNN DetectionImageNet으로 Pretrained된 AlexNet으로 2000개의 region을 Feature Extraction 후 Fully Connected Layer 통과FC layer은 두부분으로 나뉨1. Classification -> SVM Classification사용2.

github: github.com/chaeyeongyoon/ComputerVision_Study 개발 순서로 보면 R-CNN -> SPPNet -> Faster RCNN순입니다. SPPNet은 RCNN의 문제점을 많이 개선했습니다. 2000개의 region proposal이미지를 CNN에 입력하지 않고 원본 이미지만 CNN으로 Feature Map을 생성하여 뒤의 원본 이미지의 Selective search로 추천된 영역을 Feature map에 mapping (ROI Projection)합니다. 여기서 문제는 warp현상으로 인한 문제는 사라졌지만 영역별로 크기가 달라 FC Layer에 입력할 수가 없다는 것입니다.

fast RCNN은 SPP-Net에서의 SPP-Layer을 ROI Pooling Layer로 바꾸고 ROI Proposal을 제외한 모든 과정을 End-to-End Network로 구성하였습니다. 또한 SVM classifier을 softmax로 변환하였고, multi task loss함수로 classification과 regression을 동시에 최적화시켰습니다. Multi-task loss : classification 과 regression loss를 함께 반영한 loss함수 classification loss = cross-entropy, regression loss = smooth L1 loss faster RCNN은 RCNN의 마지막 모델입니다.

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study SSD는 기본적으로 anchor box기반으로, 각 feature map에서 anchor box가 classification 과 detection을 동시에 수행합니다. SSD의 주요 구성 요소는 1. Multi Scale Feature Layer 두가지 입니다. ● Multi Scale Feature layer Multi scale feature map은 image pyramid와 비슷한 원리입니다.

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study YOLO는 이미지 내의 bounding box와 class probability를 single regression problem으로 간주하여, 이미지를 한 번 보는 것으로 object의 종류와 위치를 추측합니다. 가장 최신버전인 YOLO v3은 빠른 속도와 높은 성능을 보여줍니다. yolo v1부터 살펴보겠습니다.

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study 코드와 관련된 것은 github에서만 다루려고 했는데 keras-yolo에 대한 것은 정리해두는게 좋을 것 같아 정리해봅니다. keras에 yolo 공식 API가 없기 때문에 opensource package를 사용합니다. github.com/qqwweee/keras-yolo3 다른 opensource package( github.com/experiencor/keras-yolo3)도 있지만 csv format의 데이터를 지원하기 때문에 이 opensource package를 선택하였습니다.

github: github.com/chaeyeongyoon/ComputerVision_Study Google Image dataset은 bounding box가 있는 600여개의 object category 의 bounding box정보를 가진 이미지가 있습니다. 최근에는 training/validation/test set 뿐만 아니라 segmentation도 제공합니다. 한 이미지에 여러 object를 포함한 아주 복잡한 image data set입니다. storage.googleapis.com/openimages/web/index.html 현재 v6까지 release 되어있습니다. 홈페이지에 들어가면 다음과 같이 카테고리 정보와 dataset을 다운할 수 있습니다.

프로젝트 진행 중 yolo v3를 학습시킨 데이터를 이용해 yolo v5에 학습을 시켜야하는 상황이 생겼습니다. yolov3의 데이터 형식으로 csv를 사용하였는데, csv는 "파일경로 obj1의 xmin, ymin, xmax, ymax, class_id obj2의 xmin, ymin, xmax, ymax ......"의 형식으로 이뤄져 있습니다. yolov5의 데이터 형식은 튜토리얼에 따르면 다음과 같습니다.