'전체 글'에 해당되는 글 443건

github 이 아닌 list로 파일을 출력하여 백업하고 복구하기 위한 방법 기록

[ 백업 ]

(터미널에서)

> code --list-extensions > vs_extensions_list.txt

[ 복구 ]

(터미널에서)

> cat vs_extensions_list .list | while read extension; do code --install-extension "$extension"; done

일련의 작업을 한번에 수행하기 위해서

윈도우에서는 배치파일을, 우분투에서는 쉘스크립트를 만들어서 사용하곤 한다.

다만 윈도우에서는 bat 파일을 바로 실행하면 알아서 프롬프트 열리고 실행이 되지만

우분투에서는 기본적으로는 터미널 열고 bash ~~.sh 형태로 실행해야 한다.

귀찮다.

우분투에서도 윈도우처럼 바로 실행하는 방법을 기록.

기본적으로 윈도우의 bat 처럼 실행하려면 

파일을 생성할때 끝에 '.desktop' 키워드를 붙여서 생성하면 된다.

$ vim doit.desktop

생성한 파일의 내용은 아래의 정보를 포함하도록 생성해야 한다

[Desktop Entry]
Name=XXX
Icon=XXX
Type=Application
Exec=XXX

여기에서 xxx 자리를 원하는 형태로 수정하고 저장하면 해당 파일을 실행시 설정한 동작을 수행하게 된다.

# 예시 1. 웨일 브라우저로 네이버 페이지 열기
[Desktop Entry]
Name=Naver
Icon=naver-whale
Type=Application
Exec=naver-whale https://www.naver.com

# 예시 2. 파이썬 코드 실행하기
[Desktop Entry]
Name=PythonCode
Icon=python3
Type=Application
Exec=python sample.py

# 예시 3. 쉘 스크립트 실행하기
[Desktop Entry]
Name=ShellExample
Icon=icon_path.png
Type=Application
Exec=bash example.sh

# 예시 4. 폴더 바로가기
[Desktop Entry]
Name=Shortcut
Icon=org.gnome.Nautilus
Type=Application
Exec=nautilus --new-window "/home/user/dst"

파일 생성 후 우클릭 -> Allow Launching 하여 권한 부여 후 사용.

학습을 수행하다보면 이전 학습 결과 재현이 필요한 경우가 있다.

일반 적인 경우는 다양한 난수로 인해 random 값이 달라지기 때문에 재현이 불가능하다.

그래서 실험을 위한 학습에서는 난수의 시드를 고정 할 필요가 있다.

그러나 은근히 이게 고정하게 많아서 이참에 정리.

1. pytorch seed 고정

    - 파이토치 기본 난수에 영향을 줌. 초기값 등에 영향을 줌

    - torch.manual_seed(val)

2. CUDA seed 고정

    - GPU 에서 동작하는 난수에 영향을 줌

    - torch.cuda.manual_seed(val)

    - torch.cuda.manual_seed_all(val)

3. numpy seed 고정

    - numpy 난수에 영향을 줌.

    - Albumentations 의 random도 numpy seed에 영향을 받(는것으로 알고있는데 확인필요)

    - np.random.seed(val)

4. python random seed 고정

    - 파이썬 기본 난수에 영향을 줌

    - random.seed(val)

5. cudnn deterministic 옵션

    - CUDA 에서 conv 등의 일부 연산은 deterministic 하여 동일입력, 시드에서도 다른 결과 발생 가능

    - 이 옵션을 True로 설정하면 더 느릴수 있지만 결과값은 결정적

    - torch.backends.cudnn.deterministic = True

    - 이 옵션을 False로 설정하면 런타임 연산 최적화를 수행하지 않고 일관된 연산 수행

    - torch.backends.cudnn.benchmark = False

[ 정리 ] 

import torch
import numpy as np
import random

def set_seed(val):
    torch.manual_seed(val)
    torch.cuda.manual_seed(val)
    torch.cuda.manual_seed_all(val)  # 멀티 GPU를 사용하는 경우
    np.random.seed(val)
    random.seed(val)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

윈도우가 업데이트 된 후 특정 상황에서 한글을 입력해도 입력한 글자가 보이지 않다가

다음 글자를 입력하면 그제서야 이전 글자가 보이거나 

입력하는 글자가 바로바로 안보이고 밀려서 보이거나

입력하는 글씨의 자소가 분리되어 ㅈㅏㄱㅣㅁㅓㅅㄷㅐㄹㅗ 입력되거나

마지막 글자가 자기 멋대로 사라지는 등의 상황이 발생했다.

이러한 문제를 해결하는 방법 정리.

1. 설정 -> 시간 및 언어 -> 언어 및 지역선택

2. 언어 하단의 한국어 우측의 ... 클릭 후 언어옵션

3. 키보드의 Microsoft 입력기 우측의 ... 클릭 후 키보드 옵션

4. 호환성의 이전 버전의 Microsoft IME 켬.

윈도우 작업표시줄에 있는 시계에는 기본적으로 분단위까지밖에 표시가 안된다

초단위까지 보고싶은 경우 아래와 같이 레지스트리에 값 추가를 통해 손쉽게 변경이 가능하다

1. 실행 - regedit 으로 레지스트리 편집기 실행

2. 아래 경로로 이동

HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Advanced

3. 새로만들기 - DWORD (32비트)값 생성

    - 파일명 : ShowSecondsinSystemClock

    - 파일값 : 1

GPU 종류 확인 

$ nvidia-smi --query | fgrep 'Product Name'

nvidia driver 버전 확인

$ cat /proc/driver/nvidia/version

conda 설치 후 create 로 가상환경 생성까지는 정상적으로 잘 동작했으나

생성 이후 activate 하려하니 아래와 같은 에러를 뿜으며 동작하지 않는 현상을 확인.

conda: error: argument COMMAND: invalid choice: 'activate' (choose from 'clean', 'compare', .....(이하생략) .....

이럴 때 정상 사용을 위한 방법은 매우 간단했다. 

1. conda init

conda init <shell-name> # e.g., zsh or bash

2. shell 재시작

3. 정상동작, 끝. 

워드, 파워포인트 등을 사용하다 보면 갑자기 글자 간격이 이상하게 벌어지는 현상을 겪을때가 있다.

글자 크기가 커진것도 아니고 자간을 늘린것도 아닌데 이상하게 글자 사이 간격이 멀어져서

무슨 글씨를 써도 이상해 보이는 상태.. 평소보다 글씨 사이간격이 매우 먼 상태

이러한 상태를 다시 원래대로 돌리는 방법을 기록

이러한 현상의 원인은 

먼저, 텍스트 입력은 전자/반자 상태가 존재한다. 는것 알아두고

일반적인 글쓰기 상태에서는 반자 상태로 입력하고 있었다 우리는..

그러나 글자간격이 크게 벌어진 이상한 현상은 입력상태가 전자 상태가 되었기 때문

그래서 작업표시줄의 시계옆에 A 또는 가 라고 되어있는 한영 상태버튼을 마우스 우클릭 -> 전/반자 에서 반자를 선택

하면 다시 이전의 자간으로 돌아간다.

추가로, 전/반자를 전환하는 단축키는 Alt + '=' 이라고 한다

Anaconda 의 경우 회사의 규모가 커지면 라이센스 문제가 생기게 되었다..

이 경우 Miniconda 와 conda-forge 채널을 이용하여 라이센스 문제를 해결할 수 있기에 추후 재설치시를 위한 정리

1. Miniconda 설치

2. Channel 설정

conda config --add channels conda-forge
conda config --set channel_priority strict
conda config --remove channels defaults

# 확인용
conda config --show channels

(추가) 가상환경의 경우 예전에는 AnacondaPath\envs 에 생성되었으나

이제는 users\.conda\envs 에 생성되어 Anaconda -> Miniconda로 변경해야 될 때 가상환경 관련해서는 

따로 수정하지 않아도 그대로 활용 가능하다.

참고출처 : https://devocean.sk.com/blog/techBoardDetail.do?ID=164615

"ffmpeg error while loading shared libraries libopenh264.so.5 cannot open shared object file"

위와같은 에러를 만났다.. 이럴 경우 해결방법 두가지..

1. ffmpeg 대신 ffmpeg-python 패키지 사용

패키지 중에 ffmpeg 이란놈이 있고 ffmpeg-python 이란 놈이 있던데 내부 구현까지는 모르겠고..

ffmpeg 이 보통 pytorch의 torchvision과 함께 설치되는데 torchvision과 관련된 이슈가 아니라면 

둘 다 설치되어 있을경우나 ffmpeg 만 설치되어 있는경우 기존의 패키지를 삭제하고 

ffmpeg-python 패키지를 설치하여 사용하면 해결 될 수도 있다.

2. ffmpeg update

기존에 설치되어 있던 ffmpeg 버전에 따른 이슈로 update를 통해 판올림을 해주면 해결될 수도 있다

나의 경우는 이 방법으로 문제가 해결되었다. 

일반적으로 sequential 모듈을 정의하면서 레이어 이름을 정의할수도 있지만 

별다른 레이어 명칭을 정하지 않고 sequential 안에 넣은 경우는 해당 레이어에 어떻게 접근해야 하나.. 싶었다.

named_children() 으로 호출 해 봐도 

Sequential(
  (0): Linear(~~~~~~)
  (1): BatchNorm1d(~~~~~~)
  (2): Linear(~~~~~~)
  (3): BatchNorm1d(~~~~~~)
)

와 같이 각 레이어들이 0번부터 차례대로 인덱스가 붙어있는것을 확인할 수 있다.

그래서.. 저게 순서 인덱스라고.. 생각했으나.. 

단순하게 저게 임의로 할당되는 레이어 이름이었다..

그래서 해당 레이어에 접근하려면 일반적인 레이어 접근과 동일하게 _modules 메소드를 이용하면 된다.

# network는 아래 구조만 가지고 있다고 가정하고..
Sequential(
  (0): Linear(~~~~~~)
  (1): BatchNorm1d(~~~~~~)
  (2): Linear(~~~~~~)
  (3): BatchNorm1d(~~~~~~)
)

# 첫번째 linear 레이어에 접근하려면
model.sequential._modules['0']

단, 이때 0번부터 시작되는 값은 숫자가 아닌 레이어 이름이니 str 타입이라는 점.. 

ubuntu에서 python을 실행하면 python command를 찾지 못했다는 얘기를 할 떄가 있다

그럴 경우 python2 / python3 과 같이 버전을 명시해주면 되긴 하지만.. 요즘 python2를 쓸일이 거의 없지..

python3을 기본 python으로 설정하는 방법 정리

1. alias 로 설정하기

vim ~/.bashrc
alias python=python3
:wq # 저장 후 종료
source ~/.bashrc

2. 패키지 설치

sudo apt install python-is-python3

wsl2 에서는 explorer.exe 명령어가 동작한다. 

파라미터로 경로를 입력하면 해당 경로가 파일 탐색기로 바로 열리기에 현재 경로를 파라미터로 넣어 바로 열수 있다.

explorer.exe .

torchaudio 를 이용해서 wav 파일을 load 하려고 시도해보니 No audio I/O backend is available. 에러가 발생했다.

audio 데이터 load를 위해서는 audio backend 가 필요한가 보다..

오디오 데이터를 다르기 위해서는 OS에 맞는 audio backend를 설치해주면 정상적으로 I/O가 가능하다.

# windows
$ pip install soundfile

# linux
$ pip install sox

module 'distutils' has no attribute 'version' 에러 가 가끔 발생하는 경우가 있는데.. 

이 경우는 setuptools 라이브러리 버전 문제로 특정 버전으로 설치를 해주면 간단히 해결할 수 있다.

$ pip install setuptools==59.5.0

이 버전으로 다시 설치해주면 문제없이 동작 가능.. 

linux 에서 압축을 하면 일반적으로 *.tar.gz 파일로 압축하는 경우가 많다. 

이 형태는 파일을 tar을 이용하여 하나로 묶고 gzip으로 한번 더 압축한 형태라 한다.

이런 파일을 윈도우에서 반디집 등의 일반적인 압축 프로그램을 이용하여 해제하면 

먼저 *.tar.gz -> *.tar 로 한번 해제하고 *.tar파일을 다시 한번 푸는 두번의 과정이 필요할 뿐만 아니라

데이터 양에 비해 압축 해제 속도가 느린 편(인것 같)다. 

별도의 sw 설치 없이 윈도우에서도 linux에서와 같이 한번에 압축을 해제하는 방법을 정리.

터미널에서 tar을 쳐보면 "tar: Must specify one of -c, -r, -t, -u, -x" 과 같은 메세지가 나온다. 

tar이 설치되어 있다는 얘기지.. 몰랐네..

그럼 사용방법은 linux에서와 동일하게 사용하면 된다. 

$ tar -xvzf [filename.tar.gz] -C [extract_path]

추가로 옵션 파라미터의 의미는 아래와 같다.

-x : tar 압축해제.
-v : 진행 상황표시.
-z : gzip 압축해제.
-f : 압축 해제 파일 지정.
-C : 압축 해제 위치 지정.

DDP 환경을 구성하고 scratch 부터 학습할때는 잘 동작하던 코드에서 

backbone에 pretrained weight를 load 하니 바로 OOM이 발생하는 상황을 만나버렸다.

초기 상황 구성은 아래와 같았다.

# OOM이 발생한 코드
model = get_model()

checkpoint_path = r"~~~"
checkpoint = torch.load(checkpoint_path)
model.load_state_dict(checkpoint)

model = torch.nn.parallel.DistributedDataParallel(~~~)

단순히 초기 weight 만 읽어왔을 뿐인데 OOM이 터져버리니 당황스럽긴 한데 

메모리 동작하는 꼴을 보니 0번 GPU 가 메모리 터져서 발생한 상황인 듯 했다. 

추정키로는 각 GPU에 복사되어야 할 정보들이 0번 GPU로 먼저 다 올라오면서 

감당이 안되고 OOM 이 발생한 것 같다. 

이런 상황을 해결하기 위해서는 각 GPU로 map_location을 지정하여 직접 load 해 주면 문제가 해결된다.

# 수정된 코드
model = get_model()

checkpoint_path = r"~~~"
checkpoint = torch.load(checkpoint_path, map_location='cuda:{}'.format(args.local_ranl))
model.load_state_dict(checkpoint)

model = torch.nn.parallel.DistributedDataParallel(~~~)

pytorch 코드를 사용하다 위와같은 에러를 만난 경우가 있다. 

가끔 만나는 에러라 뭐였지 하고 검색했다가 아 이거였지 하는 내모습에.. 

이번에는 기록을 해 둔다..

보통 내 경우는 loss 함수를 선언하고 해당 객체에 logit 과 label을 넣어줘야 하는데 

loss 를 선언하며 파라미터로 logit과 label을 넣어버려서 이런 경우가 발생했다.

즉,

# error 상황
loss = loss_func(logit, label)

# 올바른 코드
loss = loss_func()(logit, label)

객체 생성 후 값을 넣어주면 해당 에러는 해결 된다. 

일반적인 에디터에서는 컨트롤 + 마우스 휠을 통해 폰트 크기 조절이 가능하다

그러나 파이참에서는 기본적으로 이 옵션이 꺼져있어서 편의를 위해 활성화 시켜 주자 

File - Settings.. - Editor - General - Mouse Control - Change font size with Ctrl+Mouse Wheel in: 활성화

일반적으로 파일을 복사할때 cp를 이용했으나 이러면 얼마나 진행됐는지 알수가 없다

그래서 advanced copy 나 rsync를 사용하여 진행률을 보며 파일 복사하면 좋다.

백업에도 사용되고 다른 여러 사용법이 많지만  그 중에서도 파일 복사에 촛점을 맞춰

rsync에 대한 사용법만 기록을 해 두자..

$ rsync -ah --info=progress2 <src> <dest>