Pytorch

yolov5를 공부하다가 이런 부분을 발견 if half: #device != cpu이면 model.half() # to FP16 어떤 의미일까 궁금했다. 단순히 모델의 half만 이용한다기에는 gpu인데 굳이..?라는 생각에 찾아봤다. FP16(16 bit floating point), FP32(32 bit floating point) 일단은.. computer science(이하 cs)에서의 정밀도의 차이이다. cs에서의 정밀도는 보통 bit / 이진수로 측정된다.

yolov5 의 detection.py코드를 보면 이러한 부분이 있다. import torch.backends.cudnn as cudnn . . . cudnn.benchmark = True # set True to speed up constant image size inference 일정한 이미지 사이즈의 inference의 속도를 높이려면 True로 setting하라 torch.backends.cudnn.benchmark는 True/False로 설정할 수 있습니다. discuss.pytorch.org/t/what-does-torch-backends-cudnn-benchmark-do/5936/9 cudnn에서의 benchmark mode를 활성화할 것인가?!

yolov5 관련 실험 중 이런 오류가 발생 대충 driver버전이 낮아서라고 한다. $ ubuntu-drivers autoinstall 이 명령어를 사용하면 적절한 버전을 저절로 설치해준다고 해서 시도했더니 418대 버전에서 430대 버전으로 업그레이드 되었으나 문제가 해결되지 않아서 cuda도 높은 버전으로 설치해보고 여러 시도를 했으나 이런 정보를 찾게 됐다.. 하하 yolov5에서 pytorch를 cuda 10.2로 설치해였기 때문에 440.33이상 버전이 필요했다....

tensor로 만들어줄 경우 import torch data = [[1, 2],[3, 4]] x_data = torch.tensor(data) pos = x_data > 0 print(pos) 결과 List일 경우 data = [[1, 2],[3, 4]] pos = data > 0 print(pos) 이 연산 자체가..

기록을 추적하는 것(과 메모리를 사용하는 것)을 방지하기 위해, 코드 블럭을 with torch.no_grad(): 로 감쌀 수 있음. https://pytorch.org/docs/stable/generated/torch.no_grad.html no_grad - PyTorch 1.8..

input (Tensor) - the input tensor. dim (int, optional) - sort할 차원 descending (bool, optional) - 내림차순/올림차순 여부 stable (bool, optional) - sorting routine을 안정적으로 만들어 equivalent의 순서가 유지되도록 보장합니다. stable=True only works on the CPU for now.

tensor의 shape를 변경해줌 view는 기존의 데이터와 같은 메모리 공간을 공유하며 stride 크기만 변경하여 보여주기만 다르게 합니다. 그래서 contigious해야만 동작하며, 아닌 경우 에러가 발생합니다. reshape..

input tensor를 input boundary의 reflection(반사)를 이용해서 패딩 적용 2차원 아닌 N차원 패딩을 이용하려면 torch.nn.functional.pad()를 사용 padding은 int형이나 tuple형 : 패딩 사이즈. int형이면 모든 바운더리에 같은 패딩을 적용. 4-tuple이면 (padding_left, padding_right, padding_top, padding_bottom)으로 적용 https://pytorch.org/docs/stable/generated/torch.nn.ReflectionPad2d.html

torch.nn.init의 간단한 initializer들을 살펴보겠다 xavier같은 초기화기법들은 따로 다루기 1. torch.nn.init.normal_(tensor, mean=0.0, std=1.0) input tensor을 N(mean, std^2)의 normal distribution(정규분포)에 따라 초기화 torch.nn.init.uniform_(tensor, a=0.0, b=1.0) input tensor을 U(a, b)의 uniform distribution에 따라 초기화 * uniform distribution ? [a, b]의 범위에서 모든 값의 확률이 동일한 분포 3. torch.nn.init.constant_(tensor, val) input tensor를 특정 값 val로 채움 4.

주어진 멀티채널 1D / 2D / 3D 데이터를 업샘플링한다. 인풋데이터는 minibatch x channels x [optional depth] x [optional height] x width 형태로 가정되나, spatial input(2D)은 4D 텐서, volumetric input(3D)은 5D텐서 가능한 알고리즘 : nearest neighbor, linear, bilinear, bicubic, 3D이상의 데이터에 대해서는 trilinear output 사이즈parameters size (int/tuple) : scale_factor(float/tuple) : Depth, Height, Width에 입력받은 정수 만큼 곱해준다.

원래 autograd를 사용하기 위해 사용되던 타입. but 최신 버전에서는 deprecated 상태임을 볼 수 있었다. 현재는 Tensor 타입과 병합되어서 Tensor에서 default로 autograd 기능을 지원한다. PyTorch 0.4 이상 버..

arameter로 간주되는 tensor의 일종 Parameters는 class = torch.Tensor의 subclasses Module class와 함께하면 특별한 속성을 가진다 Module Attributes가 할당되면 자동으로 Module의 parameter들의 list로 추가되고 Module.Parameters iterator에 추가 된다. =>Tensor 할당과 다른 효과 e.i. RNN의 last hidden state같은 일부 임시상태를 모델에 cache하려고 할 수 있기 때문 Parameter같은 class가 없다면 이러한 임시적인 것들도 등록되어버릴것이다.

Pytorch로 구현된 딥러닝모델 코드들을 보면 자주 볼 수 있다 (저는 cyclegan 코드리뷰 중 궁금해졌습니다.) def sample_images(batches_done): """Saves a generated sample from the test set""" imgs = next(iter(val_dataloader)) G_AB.eval() G_BA.eval() real_A = Variable(imgs["A"].type(Tensor)) fake_B = G_AB(real_A) real_B = Variable(imgs["B"].type(Tensor)) fake_A = G_BA(real_B) ... ...

torch.utils.data.Dataset 이 클래스를 상속받아 Dataset instance를 생성해주는 class 구현 torch의 dataset은 두가지의 형식이 있음 Map-style dataset - index가 존재해 data[index]로 데이터 참조가 가능하다...