'전공관련'에 해당되는 글 80건

[Pytorch] multiGPU 에서 학습한 모델을 singleGPU에서 사용하자

지난난 글에서 사용한한 방법은 저장 단계에서 적용해야 하는 문제가 있어서 

이번에는 다시 state_dict를 읽어서 key에서 module을 제거하고 다시 넣어주는 방법을 사용.

우선 state_dict의 key에서 module 을 제거한 새로운 dict를 반환하는 함수 선언

def get_state_dict(origin_dict):
    old_keys = origin_dict.keys()
    new_dict = {}

    for ii in old_keys:
        temp_key = str(ii)
        if temp_key[0:7] == "module.":
            new_key = temp_key[7:]
        else:
            new_key = temp_key

        new_dict[new_key] = origin_dict[temp_key]
    return new_dict

이후 네트워크 가중치를 읽을때 위 함수를 통해 다시 읽어주면 문제없이 사용 가능하다.

# 위쪽은 생략

net = CNN_Network(num_classes=1000)
net.to(device)
net.eval()

checkpoint = torch.load('model_path/model_file.pth.tar', map_location=device)
checkpoint_dict = get_state_dict(checkpoint["state_dict"])
net.load_state_dict(checkpoint_dict)

(21.01.06. 수정)

위의 get_state_dict를 람다식을 이용하여 깔끔하게 구현된 코드를 확인하여 기록.

(출처 : github.com/biubug6/Pytorch_Retinaface / RetinaFace)

def remove_prefix(state_dict, prefix):
    ''' Old style model is stored with all names of parameters sharing common prefix 'module.' '''
    print('remove prefix \'{}\''.format(prefix))
    f = lambda x: x.split(prefix, 1)[-1] if x.startswith(prefix) else x
    return {f(key): value for key, value in state_dict.items()}
    
# 사용할때는
pretrained_dict = remove_prefix(pretrained_dict, 'module.')

pytorch 환경에서는 적당한 log visualization tool이 없었다.

log를 파싱해서 plot 하거나, visdom을 쓴다고 해도 부족한 부분이 있어서 아쉬운점이 있었지만

pytorch가 1.3버전으로 올라가면서부터 tensorflow의 tensorboard와 연동이 가능해 졌다.

그래서 사용 방법 정리!

우선 anaconda의 가상환경을 사용하는 것을 것을 전제로 시작. pip와 큰 차이는 없다.

1. tensorflow 설치

tensorflow와 함께 설치되는 tensorboard가 있어야 한다.

# install tensorflow
conda install tensorflow

2. tensorboardx 설치

pip를 이용 할 경우 버전 문제로 에러가 발생하는 경우도 있다해서 나는 conda로 설치 (190115 기준)

# pip
pip install tensorboardx

# conda
conda install -c conda-forge tensorboardx

3. import tensorboardx

SummaryWriter를 생성하면 실행중인 경로에 runs 폴더가 자동 생성됨. 이벤트는 여기에 저장.

from tensorboardx import SummaryWriter
summary = SummaryWriter()

4. tensorboard 출력을 위한 값 저장하기

summarywriter에는 다양한 값을 저장 할 수 있다.

아래 예 외에도 오디오, 임베딩, json export, pr curve 등의 옵션도 존재한다. 

(참고 : https://pytorch.org/docs/stable/tensorboard.html)

writer를 close 하지 않으면 값이 저장되지 않으니 close 해주던가 with 안에 넣어주자.

# 단일 변수
writer.add_scalar("그룹/변수명", 변수, iter)

# 다중 변수
# 한 그래프에 여러 변수를 그릴경우는 dict 형태로 넘겨준다
writer.add_scalars("그룹/변수명", 변수dict, iter)

# 이미지, index는 N, C , W, H 순
# 3차원 numpy array도 가능. 4차원 이상은 tensor로 변환 필요
writer.add_image("그룹/변수명", tensor(or numpyArr), iter)

# 텍스트
writer.add_text("그룹/변수명", "text", iter)

# named_param
for name, param in NET.named_parameters():
	writer.add_histogram(name, param.clone().cpu.data.numpy(), iter)
    
# 저장 후에는 반드시 writer close 해주기
writer.close()

5. tensorboard 서버 활성화 하여 결과 확인하기

tensorboard --logdir [log 경로] --port=XXXX(Optional, default=6006)
# example
tensorboard --logdir ./runs

6. tensorboard 서버 접근

# web browser에서 
localhost:[설정한 포트]

# ex
localhost:6006

deconvolution의 경우 잘 사용하지 않는 개념이라 가끔 출력단의 크기를 계산할때 햇갈리더라.

생각해보면 convolution의 역 연산이기 떄문에 convolution 출력 크기 공식을 역으로 계산하면 

간단한 문제였는데 이게 왜 그리 햇갈렸는지..

출력 크기 공식 정리.

So=stride*(Si−1)+Sf−2∗pad

where So    means output size, Siinput size, Sf the filter size. 

tensorflow에서 데이터를 저장할때 생성되는 파일중에 meta파일에는 graph에 관한 정보가 저장되어 있다.

이 정보를 읽어오고 사용하는 방법에 대한 정리.

====================================================================

1. saver를 이용하여 graph 와 variable 저장하기

2. meta데이터와 ckpt 파일로부터 그래프와 값을 읽어오고 사용하기

참고 : http://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/

Tensorflow에서 saver를 이용하여 기존 학습된 모델의 값을 읽어오는 방법.

1. 모델 전체를 읽어오는 경우

2. architecture 중 일부 레이어를 제외할 경우

digits 에서 학습한 텐서플로우 모델 파이썬에서 사용하기

추후 참고용으로 기록

Because my question is mostly due to my bad understanding of TensorFlow, I do a trip on the official documentation, and I've found some answers.

Firstly, I combine the use of contrib/slim and contrib/tflearn and even if it is possible, it is not really relevant. So I rewrite the network using only slim :

import tensorflow as tf
import tensorflow.contrib.slim as slim


class LeNetModel():

    def gray28(self, nclasses):
        # x = input_data(shape=[None, 28, 28, 1])
        x = tf.placeholder(tf.float32, shape=[1, 28, 28], name="x")
        rs = tf.reshape(x, shape=[-1, 28, 28, 1])
        # scale (divide by MNIST std)
        # x = x * 0.0125
        with slim.arg_scope([slim.conv2d, slim.fully_connected],
                            weights_initializer=tf.contrib.layers.xavier_initializer(),
                            weights_regularizer=slim.l2_regularizer(0.0005)):
            model = slim.conv2d(rs, 20, [5, 5], padding='VALID', scope='conv1')
            model = slim.max_pool2d(model, [2, 2], padding='VALID', scope='pool1')
            model = slim.conv2d(model, 50, [5, 5], padding='VALID', scope='conv2')
            model = slim.max_pool2d(model, [2, 2], padding='VALID', scope='pool2')
            model = slim.flatten(model)
            model = slim.fully_connected(model, 500, scope='fc1')
            model = slim.dropout(model, 0.5, is_training=True, scope='do1')
            model = slim.fully_connected(model, nclasses, activation_fn=None, scope='fc2')

            return x, model

I return the x placeholder and the model, and I use it to load the DIGITS pre-trained model (checkpoint) :

import tensorflow as tf
import tensorflow.contrib.slim as slim
import cv2
from models.lenet import LeNetModel

# Helper function to load/resize images
def image(path):
    img = cv2.imread(path, 0)
    return cv2.resize(img, dsize=(28,28))

# Define a function that adds the model/ prefix to all variables :
def name_in_checkpoint(var):
  return 'model/' + var.op.name

#Instantiate the model
x, model = LeNetModel().gray28(2)

# Define the variables to restore :
# Exclude the "is_training" that I don't care about
variables_to_restore = slim.get_variables_to_restore(exclude=["is_training"])
# Rename the other variables with the function name_in_checkpoint
variables_to_restore = {name_in_checkpoint(var):var for var in variables_to_restore}

# Create a Saver to restore the checkpoint, given the variables
restorer = tf.train.Saver(variables_to_restore)

#Launch a session to restore the checkpoint and try to infer some images :
with tf.Session() as sess:
    # Restore variables from disk.
    restorer.restore(sess, "src/prototype/models/snapshot_5.ckpt")
    print("Model restored.")
    print(sess.run(model, feed_dict={x:[image("/home/damien/Vidéos/1/positives/img/1-img143.jpg")]}))
    print(sess.run(model, feed_dict={x:[image("/home/damien/Vidéos/0/positives/img/1-img1.jpg")]}))

출처 : https://stackoverflow.com/questions/47506607/define-tensorflow-network-key-names-according-to-an-existing-checkpoint/47525747#47525747

예제도 돌려봤고 ( [TensorFlow] Slim을 써보자 - 예제 )

내 데이터도 convert 했고 ( [TensorFlow] Slim을 써보자 - custom dataset을 만들자 )

custom architecture 도 선언 했으니 ( [TensorFlow] Slim을 써보자 - custom architecture를 만들자 )

이제는 학습을 시작 하기 전에! 

preprocessing에 대한 설정 도 해 줘야 한다

==========================================================

1. 마찬가지로 아무 architecture 파일 복사해서 입맛에 맞게 코드 수정

2. preprocessing_factory.py 파일에 추가

$ from preprocessing import custom_preprocessing

$ preprocessing_fn_map = {

$       'cifarnet': cifarnet_preprocessing,

$       'inception': inception_preprocessing,

$       ...

$       'custom': custom_preprocessing

$ }

여기까지 하면 custom data 와 architecture 를 이용하여 학습을 위한 준비 완료.

예제도 돌려봤고 ( [TensorFlow] Slim을 써보자 - 예제 )

내 데이터도 convert 했고 ( [TensorFlow] Slim을 써보자 - custom dataset을 만들자 )

이제는 custom architecture를 설정해 줘야겠지.

======================================================================

1. 아무 architecture나 복사본 만들기

일단 아무 architecture나 하나 복사본 만들기

vgg.py --> custom_architecture.py

2. custom_architecture.py 파일 수정하기

코드 내 이름을 본인 custom architecture 이름으로 수정 해주기.

arg_scope는 공통 파라미터를 선언하는 부분

하단에 함수이름 본인 이름으로 바꾸고 with slim.arg_scope 하단에 architecture 선언하기

end_points가 아마도 연산 결과물 받아오기 위한 변수인듯.

3. nets_factory.py 파일에 custom_architecture 추가하기

$ from nets import custom_architecture

$ networks_map = {'alexnet_v2': alexnet.alexnet_v2,

                'cifarnet': cifarnet.cifarnet,

  ....

  'custom_architecture' : custom_architecture.custom_architecture

}

$ arg_scopes_map = {'alexnet_v2': alexnet.alexnet_v2_arg_scope,

                  'cifarnet': cifarnet.cifarnet_arg_scope,

    ....

    'custom_architecture': custom_architecture.custom_architecture_arg_scope,

}

여기 까지 하면 일단 architecture는 준비 완료.

예제 ([TensorFlow] Slim을 써보자 - 예제) 를 돌려 봤으니 이제 내가 필요한 데이터를 이용하여 학습을 해 보자

어느정도 사용하다 보면 자기만의 코드가 만들어 지겠지만 지금은 slim을 처음 이용하는 단계이니

주어진 예제를 기반으로 수정하여 사용 해 보자.

dataset을 만드는데 관련된 코드는 (slim path)/datasets 에 있다.

=======================================================

1. image 분류 및 정리

학습에 사용하고자 하는 이미지를 class 별로 정리하기

root folder의 이름은 (class name)_photos 로 설정하고 하위 각 폴더의 이름이 class의 label이 된다.

custom_photos (root forder)

- forder1 (class1)

image101.jpg

image102.jpg

...

- fordel2 (class2)

image201.jpg

image202.jpg

...

...

- fordelN (classN)

imageN01.jpg

imageN02.jpg

즉, 위와 같은 구조로 데이터를 정리 하면 된다.

본 예시에서는 데이터셋 이름은 custom / 각 class 별로 100장 / 총 9개 class 가 있다고 가정

2. datasets 폴더에 custom DB를 위한 파일 복사

download_and_convert_flowers.py 파일과 flowers.py 파일의 복사본을 만들고

flowers 대신 사용하고자 하는 DB이름으로 수정

download_and_convert_flowers.py --> download_and_convert_custom.py

flowers.py --> custom.py

3. custom.py 파일 수정

일단 기본 예제인 만큼 각 class에 대한 영상이 고르게 분포되어 있다고 가정된것인가.. 여긴 코드확인필요

파라미터를 퍼센트로 주는 것이 아니라 영상 장수로 선언하게 되어있다.

추후 코드 확인 후 수정할 것.

$ _FILE_PATTERN = 'custom_%s_*.tfrecord'

$ SPLITS_TO_SIZES = {'train': 810, 'validation': 90} # 전체의 10%를 validation set으로 이용

$ _NUM_CLASSES = 9 # 총 class 개수

4. download_and_convert_custom.py 파일 수정

$ # The number of images in the validation set.

$ _NUM_VALIDATION = 90 # 3번에서 설정한 수와 동일하게 설정

$ # The number of shards per dataset split.

$ _NUM_SHARDS = 1 # 만들어진 tfrecord 파일을 몇개로 나눌건지에 대한 설정. 

# 다른 함수나 파라미터에 있는 이름도 원하는 이름으로 수정

$ def _get_dataset_filename(dataset_dir, split_name, shard_id):

$      output_filename = 'custom_%s_%05d-of-%05d.tfrecord' % (

$            split_name, shard_id, _NUM_SHARDS)

$      return os.path.join(dataset_dir, output_filename)

$ custom_root = os.path.join(dataset_dir, 'custom_photos')

$ directories = []

$ class_names = []

$ for filename in os.listdir(custom_root):

$      path = os.path.join(custom_root, filename)

$ if os.path.isdir(path):

$      directories.append(path)

$      class_names.append(filename)

5. dataset_factory.py 파일에 custom set 추가

$ from datasets import custom

$ datasets_map = {

$     'cifar10': cifar10,

$     'flowers': flowers,

$     'imagenet': imagenet,

$     'mnist': mnist,

$     'custom': custom,

$ }

6. download_and_convert_data.py 파일 수정

download_and_convert_data.py 파일에서 custom 파일에 연결하기 위한 코드 추가.

$ from datasets import download_and_convert_custom

$ elif FLAGS.dataset_name == 'custom':

  download_and_convert_custom.run(FLAGS.dataset_dir)

7. download_and_convert_data.py 파일 이용하여 custom dataset 만들기

$ python download_and_convert_data.py \

    --dataset_name=custom \

    --dataset_dir=./datasets/custom

Tensorflow-slim 은 기존의 tensorflow를 보다 사용하기 쉽게 만들어 놓은 high-level API 이다.

오리지널 텐서플로우가 사용하기에 간단하지많은 않았던 만큼 

API로 만들어 놓은 slim은 상대적으로 사용하기 쉬운 편이다.

다음에 사용 할 때를 대비하여 사용법을 정리 해 두자.

====================================================

우선 예제 실행 방법부터 확인.

1. tensorflow-model을 다운로드

$ mkdir tfslim

$ cd tfslim

$ git clone https://github.com/tensorflow/models/

slim은 tfslim/models/research/slim 에 위치해 있다 ( 2017. 12. 06 기준)

2. 데이터 셋을 다운로드

기본적으로 flowers / mnist / cifar10 / imagenet 의 네가지 데이터셋에 대한 코드가 포함되어 있다.

가장 데이터가 적은 flowers set에 대하여 예제를 진행

$ python download_and_convert_data.py \

    --dataset_name=flowers \

    --dataset_dir=./datasets/flowers

위 명령어를 수행하면 datasets 폴더에 tfrecord 파일과 label 파일이 생성된다

tfrecord 파일은 tensorflow에서 학습을  위해 사용하는 포멧이고 변환 되기 전 원본 영상을 보고싶으면

datasets/download_and_convert_flowers.py 파일 하단에 있는

_clean_up_temporary_files(dataset_dir) 이 부분을 주석처리 해 주면 된다.

3. architecture 선택하기

기본적으로 inception / resnet / vgg / alexnet 등 유명한 구조와 그 시리즈들이 포함되어 있다.

원하는 architecture를 선택

4. training

학습은 train_image_classifier.py 파일을 통해 시작하며 해당 파일 안에 다양한 Flag가 선언되어 있으니

확인 해 볼 것. 코드상에서 필요한 부분 수정하거나 옵션으로 추가 해 주고 아래 코드를 통해 학습 시작

$ python train_image_classifier.py \

    --train_dir=./output/flowers_train_result \

    --dataset_name=flowers \

    --dataset_split_name=train \

    --dataset_dir=./datasets/flowers \

    --batch_size=50 \

    --model_name=inception_v1 \

    --max_number_of_steps=5000 # 1epoch = 50 step(2500장) / 총 100 epoch 학습

5. evaluation

eval_image_classifier.py 파일을 이용해 학습 된 모델의 성능을 확인 해 볼 수 있다.

$ python eval_image_classifier.py \

    --alsologtostderr \

    --checkpoint_path=./output/flowers_train_result \

    --dataset_dir=./datasets/flowers \

    --dataset_name=flowers \

    --dataset_split_name=validation \

    --model_name=inception_v1

참고 : https://github.com/tensorflow/models/blob/master/research/slim/README.md

custom 데이터를 이용하여 YOLO를 학습하기 위한 방법 정리.

(일단 뼈대 작성 해놓고 내용은 차차 수정하자)

1. github 에서 darknet 코드를 다운로드 받는다.

1.1 CUDA 설치

1.2 CUDNN 설치

1.3 OPENCV 설치

2. MakeFile 수정

GPU사용여부 설정

OPENCV 사용여부 설정

GPU architecture 버전 맞추기

3. darknet make

4. training sample 만들기

이미지 한장당 txt파일로 gt 하나.

최종 결과물은 [클래스index] [x_r] [y_r] [w_r] [h_r] 의 형태.

x,y는 좌상단 좌표가 아닌 ROI의 중심좌표. 

x, y, w, h 모두 영상의 크기를 이용하여 0~1로 정규화 한 값 이용

참고 - tagging tool, converter

5. train list 만들기

이미지는 images 폴더에, GT는 labels 폴더에 넣고 images 

폴더 내 파일의 절대경로를 지정하여 list로 만들기

6. data & names 파일 만들기

학습 데이터에 관련된 정보 설정

data 파일에 클래스 개수, train list path, backup path 등 설정

names 파일에 label 설정

7. cfg 파일 수정

batch, subdivisions 값 설정 (나머지 하이퍼 파라미터도 알아서 수정)

마지막 convolutional layer에 filters 값 수정 => ( coords + 1 + num of class ) * num

region layer anchors 수정 ( 학습 데이터의 k-means clustered rate, 참고 : https://github.com/Jumabek/darknet_scripts/blob/master/gen_anchors.py )

classes 값 수정 

8. pre-trained data download (optional)

https://pjreddie.com/media/files/darknet19_448.conv.23 

9. training

제일 먼저 해시(Hash) 란 임의의 데이터를 고정된 길이의 데이터로 매핑하는 함수를 의미한다.

입력 데이터의 크기에 관계없이 고정된 크기의 출력값을 내도록 설계 되어 있어 항상 같은 길이의 출력을 낸다.

기본적으로는 입력이 달라지면 출력값도 달라져야 하며 두 데이터의 해시값이 다르다면 원 데이터도 달라야 한다.

하지만 이 세상에 가능한 모든 입력데이터를 제한된 길이의 출력 데이터로 매핑해야 하기 때문에 

다른 입력에 대하여 같은 해시값이 나올 수 밖에 없다.

이러한 문제에 대응하기 위해 더 긴 길이의 해시값이 제안되고 있으며, 이러한 문제점으로 인하여 

보안 분야에 사용하기에는 문제가 있다.

일반적으로 해시함수는 데이터를 인코딩 하는 용도로 설계되었기 때문에 

인코딩 된 데이터만을 이용하여 원 데이터를 디코딩 하는 것은 불가능 하다.

흔히 사용되는 해시 함수는 크게 암호화 해시함수(입출력간의 관계를 유추하기 어려움) 비암호화 해시함수로 나뉘며 MD5, SHA 방식은 암호화 해시함수에 속한다.

MD5(Message-Digest algorithm 5) 는 출력값으로 128bit 크기를 갖는 암호화 해시함수다.

128비트로 표현되기 때문에 커버할수 있는 데이터는 2^128 가지 이며, 이는 충분한 값이 아니라

다른 입력에 대하여 동일한 해시값을 내는 충돌 현상이 발견되었다.

SHA 계열은 현재 SHA-2 까지 개발되어 있으며 최대 512bit를 출력값으로 사용하기에 

MD5의 128비트나 SHA-1 까지의 160비트에 비해 훨씬 많은 데이터에 대응이 가능하며

이러한 특성으로 인해 아직까지 충돌현상은 발견되지 않았다.

이러한 해시함수를 통해 데이터마다 고유한(? 이론적으론 고유하지 않지만...) 값으로 매핑이 가능하기 때문에

원본 데이터와 해시값을 갖고 있으면 나중에 복사, 다운로드 등을 통해 옮겨진 데이터의 해시값을 계산하여

원본데이터의 해시값과 비교를 통해 정상적으로 복사, 다운로드가 되었는지 

혹은 외부사용자에 의해 변조 된 부분은 없는지 검사가 가능하다.

= 참고 =

해시함수 : https://ko.wikipedia.org/wiki/%ED%95%B4%EC%8B%9C_%ED%95%A8%EC%88%98 

MD5 : https://ko.wikipedia.org/wiki/MD5

SHA : https://ko.wikipedia.org/wiki/SHA 

이전글 : [Caffe] Faster R-CNN을 이용하기. 환경설정. 셋팅 (object detection)

r-cnn 세팅이 끝났으면 내가 원하는 task에 맞게 새로 학습을 할 필요가 있겠지.

개인 데이터로 학습을 시도하다 만난 문제점에 대한 정리.

1. assert (boxes[:, 2] >= boxes[:, 0]).all() AssertionError

ROI 영역의 설정이 잘못되어 발생하는 문제. 애초에 ROI 설정을 잘 해주도록 하고 그럼에도 발생하는 경우
http://stackoverflow.com/questions/31005463/how-to-train-new-fast-rcnn-imageset 여기를 참고하여

for b in range(len(boxes)):

            if boxes[b][2] < boxes[b][0]:

                boxes[b][0] = 0

assert (boxes[:, 2] >= boxes[:, 0]).all()

위와같이 코드를 수정하면 문제가 발생하지 않는다.

2. slice indices must be integers or none or have an __index__ method 

이 경우 numpy 버전이 문제가 된다.

최신버전(1.12) 에서는 index로 float 값 사용이 불가능하다고 한다. 1.12 버전을 지우고 하위버전을 설치하자

pip uninstall numpy

pip install numpy==1.11.2

3. rpn layer loss 가 nan 이 뜰 경우

다양한 이유가 존재하겠지만 학습에 사용되는 영상의 ratio 가 클 경우에도 발생한다.

너무 길다란 이미지는 리사이징 하던 학습셋에서 제거하던 해서 문제를 해결하자.