Deep Learning

PixelGAN은 1 x 1 patch에 대해 진위 여부를 확인하고, PatchGAN은 N x N 사이즈의 패치 영역에 대해 진위를 판단 ImageGAN은 일반적으로 알고 있는 VanillaGAN처럼 전체 영역에 대해 진위 여부를 판단 전체 영역이 아닌 특정 크기 (NxN) patch단위로 generator가 만든 이미지의 진위 여부를 판단. correlation 관계가 유지되는 범위에 해당하는 적절한 크기의 patch size를 정해야 함.

Markov Random Field = 마르코프 네트워크 Bayesian Modeling 을 통해서 이미지를 분석하는데에사용되는 방법 .

ResNet 간단 정리 기존 딥러닝 모델 -> 그냥 딥러닝 모델의 깊이만 늘린다고 성능이 늘어나지 않음 입력값을 출력값에 더해줄 수 있도록 지름길(shortcut)을 하나 만들어 줌 기존의 신경망은 입력값 x -> 타겟값 y로 매핑하는 함수 H(x)를 얻는 것이 목적이었다. 그러나 ResNet은 F(x) + x를 최소화하는 것을 목적으로 한다.

벡터의 크기(magnitude) 또는 길이(length)를 측정하는 방법 이 식에서 p=1이면 L1 Norm, p=2이면 L2 Norm s.sum(dim=1, keepdim=True) # L1 s.pow(2).sum(dim=1, keepdim=True).sqrt() # L2 L2 Norm 은 벡터 p, q 의 유클리디안 거리(직선 거리) 위 식은 p = (x_1, x_2, ... , x_n), q = (0, 0, ... , 0) 일 때라고 할 수 있음.

Receptive Field는 CNN에서 매우 중요한 개념 중 하나이고, object detection은 이 아이디어를 중심으로 아키텍쳐를 설계. receptive field : 특정 CNN의 feature이 보고있는 (영향을 받는) input space의 영역 receptive field 내 모든 픽셀들이 똑같이 중요한 것은 아니다. field 의 중심에 가까울수록 output feature의 계산에 더 많이 기여한다.

※ batch normalization 논문, 동빈나 유튜브 및 다른 자료를 참조하였습니다. 논문이나, kaggle 등 competition에서 batch normalization을 많이 접하게 된다. batch normalization (BN)은 어떤 효과를 가져올까? lr을 잘못 잡으면 gradient가 explode / vanish하거나 local minimum에 빠지는 경우가 생기던 기존 문제 -> parameter scale때문이라고 정의 -> BN수행시 parameter scale의 영향을 받지 않아 높은 lr설정 가능 -> 빠른 학습 weight 초기화에 대한 민감도가 낮아진다 ( lr 등의 hyper parameter 설정에 대한 부담을 줄일 수 있다.)

GAN을 깊게 공부하다가 DCGAN에서 Transposed Convolution이라는 것을 마주하게 되었다. 그러한 김에 여러가지 convolition 연산에 대해 정리해보기로 했음 :) padding없이 kernel이 지정된 stride에 맞게 이동하면서 conv연산을 진행해줌으로써 너비와 높이가 감소합니다. strided convolution에서 padding이 추가 되었다고 보면 됩니다. kernel size에 맞춰서 Output size와 input size가 같을 수 있게 이미지 가장자리에 padding을 적용해줍니다.

GoogleNet부터 시작하여 InceptionV2, V3까지 살펴보려 합니다. 프로젝트를 진행할 때 Inception의 결과가 대체로 가장 좋았던 것 같습니다. Inception V1, GoogleNet은 네트워크가 깊고 레이어가 넓어서(deep and wide NN) vanishing gradient 문제 해결을 위해서 sparse한 노드간의 연결을 사용했습니다(관련성 높은 노드들끼리만 연결) 그 결과 연산량과 과적합을 줄이는 효과가 있었습니다. Dropout과 같은 역할이라고 보면 될 것 같습니다.

VGG16은 3x3필터를 사용해서 깊은 구조를 구현 가능하고, zero padding 1, stride 1로 모두 통일되어 있으며 16층을 제외하고 activation 함수로 모두 ReLU를 적용한 간단한 구조를 가지고 있습니다. 3x3필터 2개는 5x5와, 3개는 7x7과 동일한 효과를 내면서도 파라미터는 더 적게 가져 효과적입니다. 단점은 구조는 간단하지만 FCL3층에, maxpooling후의 feature map 개수가 2배가 되는 등 필요 파라미터가 너무 많습니다.

github: github.com/chaeyeongyoon/DeepLearning_basics GAN(Generative Adversarial Network, 생성적 적대 신경망) 은 딥러닝의 원리를 이용해 '가상의 이미지'를 생성합니다. Generator와 Discrminator은 보통 위조지폐범과 경찰로 비유되며, 둘의 경합으로 인해 더욱 정교한 가상 이미지가 생성됩니다. 그 중 가장 많이 사용되는 Facebook AI팀의 DCGAN에 대해 소개하겠습니다. DCGAN은 GAN에 CNN을 적용한 것이라고 생각하면됩니다. ● Generator 가짜 이미지 생성에 CNN을 이용합니다.

Sequence data, 예를들어 문장 같은 경우 한 단어만으로는 이해할 수 없습니다. 전 단어와 현 단어를 기반으로 이해해야 합니다. -> Time Series 이런 데이터를 학습하기 위한 모델이 RNN입니다. 그림을 보면 알 수 있듯이 앞에서의 결과가 다음으로 전달됩니다. 다음은 간단히 hello라는 문장을 예로 든 그림입니다. 검색을 할 때 연관검색어가 뜨는 등의 역할을 할 수 있습니다.

github: github.com/chaeyeongyoon/DeepLearning_basics 딥러닝 네트워크 모듈을 여러형태로 쌓아 구성할 수 있습니다. CNN은 다음 그림과 같이 이미지를 일부로 나누어 처리합니다. 즉 작은 영역에 집중하는 것입니다. 다음은 conv layer, ReLU layer을 간단히 설명한 그림입니다. pooling이란? sampling이라고 생각하면 됩니다. 중요한 값만 남깁니다. 보통 큰 값이 중요한 정보일 확률이 높기 때문에 max pooling을 사용합니다.

※ 본 카테고리의 글은 youtube Sung Kim 강좌, 책 및 다른자료들을 참고하여 작성되었습니다. ※ github: github.com/chaeyeongyoon/DeepLearning_basics ● GD Algorithm (경사 하강법) 간단히 말해 모델 학습 시 cost가 작아지는 방향으로 weights를 조정하는 방법이다. 참고로 bias값도 learning rate와 비슷한 역할을 하며 bias값을 찾을 때도 GD algorithm을 사용한다.

※ 본 카테고리의 글은 youtube Sung Kim 모두를 위한 딥러닝 강좌 및 다른 자료들을 참고하여 작성되었습니다. ※ 딥러닝의 궁극적 목표 : Thinking Machine 딥러닝이라 하면 Artificial Neural Network(이하 ANN)이라 말할 수 있다. ANN이란? 인공신경망이라는 말 그대로 우리의 뇌의 시냅스 및 뉴런의 상호작용(logistic regression과 유사하다)에서 아이디어를 얻어 그 구조를 인공적으로 구현해 기계가 스스로 학습할 수 있도록 만든 것이다.