논문리뷰

MOT에서 간단하고 효과적인 알고리즘이었던 SORT의 성능향상을 위해 appearance information을 통합 더 긴 기간동안의 occlusion에도 객체 트래킹이 가능함 효과적으로 identity(ID라 하겠다) switch를 줄임 SORT의 방향과 같이 계산적으로 복잡한 과정은 offline pretrain과정에 치우침 offline pretrain단계에서는 대규모 person re-identification dataset에서 deep association metric을 학습한다.

오랜만에 논문리뷰 입니당.... https://arxiv.org/abs/1602.00763 (참고하면 좋은 글) kalman filter - https://brunch.co.kr/@201929291/2 , https://medium.com/@celinachild/kalman-filter-%EC%86%8C%EA%B0%9C-395c2016b4d6 hungarian method - https://gazelle-and-cs.tistory.com/29 IOU distance - (링크) covariance - (링크) Simple Online And Realtime Tracking 즉, SORT기법에 대한 논문입니다. tracking 알고리즘으로 많이 쓰이는 DeepSORT에 대해 공부하기 전에, SORT부터 살펴봤습니다 SORT는 실시간, 객체기반 트래커 라고 볼 수 있겠습니다.

interpolation quality and disentanglement 대한 정량적 표현을 위해 새로운 두가지 제안 1. perceptual path length2. Linear separability 이렇게 적용을 해주어서 성능이 좋아졌다고 나타내고 있습니다 PGGAN? 모든 레이어는 동결시키지 않고 계속해서 같이 학습시킨다. G가 생성한 (다음 레이어에 비해) 저해상도인 이미지가 D에게 통과되면 G와 D의 레이어(ex. 현재 16x16대상으로 학습했다면 32x32를 만들어내는 레이어)를 추가한다.

Image-to-Image translation은 vision과 graphics 문제 중 하나. 목적은 input 이미지와 output이미지를 mapping하는 것을 학습하는 것. 정렬된 이미지 쌍의 training set을 사용하여. 많은 tasks에서 paired training data는 사용 불가 paired examples없이 X→Y 변환하는 것을 배우는 접근법을 제시 mapping G: X→Y 매핑을 배우는 것이 목표. G(x)의 분포가 Y와 구분 불가능 하도록 → adversarial loss를 이용하여 왜?

새로운 논문 스터디가 시작 되었다 :) 논문 읽기 - 코드리뷰 - 구현까지 화이팅 :) single deep neural network로 이미지에서 object detection 수행하는 방법 제시 bounding boxes의 output space를 feature map 위치 당 다른 aspect ratio 와 scale을 가진 default boxes 세트로 이산화한다. prediction time에 network는 각 default box에 각 object의 존재에 대한 점수를 생성한다.

Google Research, Brain Team 에서 발행한 논문이네요. CNN은 일반적으로 input image를 해상도가 감소하도록 encoding합니다. -> 분류 작업에는 적합 but 인식 +localization (object detection)에는 적합 x 이 문제 해결 위해 encoder-decoder 아케텍쳐는 분류 위해 설계된 backbone model에 decoder network 를 적용 scale-decreased backbone때문에 encoder-decoder 아키텍쳐는 strong multi-scale features를 생성하는데 효과적이지 않음.

아무래도 Test보다는 Train이 고려할 것이 많다보니 Train 과정 먼저 살펴보겠습니다. 빨간 글씨: 의문점/공부해야할 부분 1. parser에서 여러 옵션들을 parse해오고, dataset을 만들어 줌 opt = TrainOptions().parse() # get training options dataset = create_dataset(opt) # create a dataset given opt.dataset_mode and other options dataset_size = len(dataset) # get the number of images in the dataset.

Berkeley AI Research (BAIR) Laboratory, UC Berkeley 에서 발행한 논문입니다. Abstract image-to-image translation problems에 대한 일반적인 방법부터 Contitional adversarial networks를 사용한 방법까지 조사했다. Image-to-Image translation problems를 다루는 Networks는 입력 이미지에서 출력 이미지로 가는 mapping을 학습할 뿐만 아니라 loss function도 학습 -> image-to-image translaotion problems에서 각 상황에 따라 사용되는 loss functions이 달랐지만 paper에서 제안한 방식을 적용하면 동일한 loss functions을 사용하여 적용할 수 있다.

컴퓨터 비전 논문 스터디에서 이 논문에 관련하여 발표하였습니다 발표자료를 공유합니다. paired dataset은 생성하기 어렵기 때문에 unpaired dataset을 활용한 모델이 더 실용적이겠죠? unpaired dataset을 활용한 training은 unsupervised training이라고 할 수 있는데, 이 슬라이드가 그 문제점을 잘 보여줍니다. U-GAT-IT의 전체적 구조를 나타내면 다음과 같습니다.

논문 링크: arxiv.org/pdf/2004.07570.pdf arxiv.org/abs/2004.07570 ● introduction SAOL은 보통 이미지용 대부분의 CNN classification에서 GAP, FC를 이용함으로써 나타나는 위치정보 소실이라는 문제를 해결하기 위해 새로운 output layer의 형태를 제안합니다. ABN과 유사한 아이디어라고 할 수 있으나, attention branch에서 다시 뒤로 돌아가 attention map을 구해야하는 단점을 보완한 것이라고 볼 수 있습니다.

논문 링크 : arxiv.org/abs/1512.04150 ClassActivation map(CAM)에 대해 간단히 정리해보려 합니다. 한문장으로 정리하자면 CAM은 classification 결과에 대해 interpretable한 결과를 제공합니다. 즉, 결정에 대한 이유를 시각화할 수 있다는 것이죠. 일반적인 CNN구성은 convlayers + pooling layers + ... + FC layer로 구성됩니다. 즉 마지막 feature map을 flatten해서 FC layer에 넣어주게 되죠.

논문 링크: arxiv.org/abs/1812.10025 ABN은 attention map을 이용해 interpretable한 정보를 제공한다는 점에서 CAM과 유사하나, FC대신 GAP를 사용해 성능이 조금 떨어지는 CAM의 단점을 보완하여 interpretable한 정보 뿐만 아니라 성능향상의 효과까지 보여주었습니다. 다음 그림에서 볼 수 있듯이, ABN은 1. feature extractor 2. Attention branch 3. perception branch 로 이루어져 있습니다.

※ fasi.ai의 기술 Decrappification(GAN사용안함) - > DeOldify (GAN + UNet) Dynamic Unet 기반 ( 공식적 UNet은 아니고 fast.ai에서 구현한..? 것으로 보임) : 기존 U-Net + Self Attention + Spectral Normalization (정확한 건 아니고 추측....)