티스토리

살다보니..

검색하기

블로그 홈

살다보니..

jangjy.tistory.com/m

작은 지식들 그리고 기억 한조각

구독자: 11

방명록 방문하기

주요 글 목록

[Pytorch] 학습 재현을 위해 seed를 고정하자 학습을 수행하다보면 이전 학습 결과 재현이 필요한 경우가 있다. 일반 적인 경우는 다양한 난수로 인해 random 값이 달라지기 때문에 재현이 불가능하다. 그래서 실험을 위한 학습에서는 난수의 시드를 고정 할 필요가 있다.그러나 은근히 이게 고정하게 많아서 이참에 정리. 1. pytorch seed 고정 - 파이토치 기본 난수에 영향을 줌. 초기값 등에 영향을 줌 - torch.manual_seed(val) 2. CUDA seed 고정 - GPU 에서 동작하는 난수에 영향을 줌 - torch.cuda.manual_seed(val) - torch.cuda.manual_seed_all(val) 3. numpy seed 고정 - numpy 난수에 영향을 줌. - Album.. 공감수 0 댓글수 0 2024. 4. 29.
한글 입력이 밀리거나 자소 분리가 되는 경우 문제를 해결하자 윈도우가 업데이트 된 후 특정 상황에서 한글을 입력해도 입력한 글자가 보이지 않다가 다음 글자를 입력하면 그제서야 이전 글자가 보이거나 입력하는 글자가 바로바로 안보이고 밀려서 보이거나 입력하는 글씨의 자소가 분리되어 ㅈㅏㄱㅣㅁㅓㅅㄷㅐㄹㅗ 입력되거나 마지막 글자가 자기 멋대로 사라지는 등의 상황이 발생했다. 이러한 문제를 해결하는 방법 정리. 1. 설정 -> 시간 및 언어 -> 언어 및 지역선택 2. 언어 하단의 한국어 우측의 ... 클릭 후 언어옵션 3. 키보드의 Microsoft 입력기 우측의 ... 클릭 후 키보드 옵션 4. 호환성의 이전 버전의 Microsoft IME 켬. 공감수 0 댓글수 0 2024. 3. 26.
윈도우 시계에 초단위를 표시하자 윈도우 작업표시줄에 있는 시계에는 기본적으로 분단위까지밖에 표시가 안된다 초단위까지 보고싶은 경우 아래와 같이 레지스트리에 값 추가를 통해 손쉽게 변경이 가능하다 1. 실행 - regedit 으로 레지스트리 편집기 실행 2. 아래 경로로 이동 HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Advanced 3. 새로만들기 - DWORD (32비트)값 생성 - 파일명 : ShowSecondsinSystemClock - 파일값 : 1 공감수 0 댓글수 0 2023. 12. 28.
ubuntu에서 nvidia driver 버전과 GPU 종류를 확인하자 GPU 종류 확인 $ nvidia-smi --query | fgrep 'Product Name' nvidia driver 버전 확인 $ cat /proc/driver/nvidia/version 공감수 0 댓글수 0 2023. 11. 30.
conda 설치 후 activate가 안될때 문제를 해결하자 conda 설치 후 create 로 가상환경 생성까지는 정상적으로 잘 동작했으나 생성 이후 activate 하려하니 아래와 같은 에러를 뿜으며 동작하지 않는 현상을 확인. conda: error: argument COMMAND: invalid choice: 'activate' (choose from 'clean', 'compare', .....(이하생략) ..... 이럴 때 정상 사용을 위한 방법은 매우 간단했다. 1. conda init conda init # e.g., zsh or bash 2. shell 재시작 3. 정상동작, 끝. 공감수 0 댓글수 1 2023. 11. 8.
문서 작성시 글자간격이 이상해지는 현상을 해결하자 워드, 파워포인트 등을 사용하다 보면 갑자기 글자 간격이 이상하게 벌어지는 현상을 겪을때가 있다. 글자 크기가 커진것도 아니고 자간을 늘린것도 아닌데 이상하게 글자 사이 간격이 멀어져서 무슨 글씨를 써도 이상해 보이는 상태.. 평소보다 글씨 사이간격이 매우 먼 상태 이러한 상태를 다시 원래대로 돌리는 방법을 기록 이러한 현상의 원인은 먼저, 텍스트 입력은 전자/반자 상태가 존재한다. 는것 알아두고 일반적인 글쓰기 상태에서는 반자 상태로 입력하고 있었다 우리는.. 그러나 글자간격이 크게 벌어진 이상한 현상은 입력상태가 전자 상태가 되었기 때문 그래서 작업표시줄의 시계옆에 A 또는 가 라고 되어있는 한영 상태버튼을 마우스 우클릭 -> 전/반자 에서 반자를 선택 하면 다시 이전의 자간으로 돌아간다. 추가로, .. 공감수 0 댓글수 1 2023. 10. 26.
[Python] Anaconda 대신 Miniconda로 라이센스 문제를 해결하자 Anaconda 의 경우 회사의 규모가 커지면 라이센스 문제가 생기게 되었다.. 이 경우 Miniconda 와 conda-forge 채널을 이용하여 라이센스 문제를 해결할 수 있기에 추후 재설치시를 위한 정리 1. Miniconda 설치 2. Channel 설정 conda config --add channels conda-forge conda config --set channel_priority strict conda config --remove channels defaults # 확인용 conda config --show channels (추가) 가상환경의 경우 예전에는 AnacondaPath\envs 에 생성되었으나 이제는 users\.conda\envs 에 생성되어 Anaconda -> Minico.. 공감수 0 댓글수 0 2023. 9. 22.
ffmpeg loading shared libraries error를 해결하자 "ffmpeg error while loading shared libraries libopenh264.so.5 cannot open shared object file" 위와같은 에러를 만났다.. 이럴 경우 해결방법 두가지.. 1. ffmpeg 대신 ffmpeg-python 패키지 사용 패키지 중에 ffmpeg 이란놈이 있고 ffmpeg-python 이란 놈이 있던데 내부 구현까지는 모르겠고.. ffmpeg 이 보통 pytorch의 torchvision과 함께 설치되는데 torchvision과 관련된 이슈가 아니라면 둘 다 설치되어 있을경우나 ffmpeg 만 설치되어 있는경우 기존의 패키지를 삭제하고 ffmpeg-python 패키지를 설치하여 사용하면 해결 될 수도 있다. 2. ffmpeg update 기.. 공감수 0 댓글수 0 2023. 9. 13.
[Pytorch] Sequential 모듈 내 레이어에 접근하자 일반적으로 sequential 모듈을 정의하면서 레이어 이름을 정의할수도 있지만 별다른 레이어 명칭을 정하지 않고 sequential 안에 넣은 경우는 해당 레이어에 어떻게 접근해야 하나.. 싶었다. named_children() 으로 호출 해 봐도 Sequential( (0): Linear(~~~~~~) (1): BatchNorm1d(~~~~~~) (2): Linear(~~~~~~) (3): BatchNorm1d(~~~~~~) ) 와 같이 각 레이어들이 0번부터 차례대로 인덱스가 붙어있는것을 확인할 수 있다. 그래서.. 저게 순서 인덱스라고.. 생각했으나.. 단순하게 저게 임의로 할당되는 레이어 이름이었다.. 그래서 해당 레이어에 접근하려면 일반적인 레이어 접근과 동일하게 _modules 메소드를 이용.. 공감수 0 댓글수 0 2023. 9. 6.
[Python] python3을 기본 python으로 사용하기 ubuntu에서 python을 실행하면 python command를 찾지 못했다는 얘기를 할 떄가 있다 그럴 경우 python2 / python3 과 같이 버전을 명시해주면 되긴 하지만.. 요즘 python2를 쓸일이 거의 없지.. python3을 기본 python으로 설정하는 방법 정리 1. alias 로 설정하기 vim ~/.bashrc alias python=python3 :wq # 저장 후 종료 source ~/.bashrc 2. 패키지 설치 sudo apt install python-is-python3 공감수 0 댓글수 0 2023. 8. 24.
[WSL2] 경로를 windows 탐색기에서 확인하자. wsl2 에서는 explorer.exe 명령어가 동작한다. 파라미터로 경로를 입력하면 해당 경로가 파일 탐색기로 바로 열리기에 현재 경로를 파라미터로 넣어 바로 열수 있다. explorer.exe . 공감수 0 댓글수 0 2023. 8. 24.
[Pytorch] No audio I/O backend is available. 에러를 해결하자. torchaudio 를 이용해서 wav 파일을 load 하려고 시도해보니 No audio I/O backend is available. 에러가 발생했다. audio 데이터 load를 위해서는 audio backend 가 필요한가 보다.. 오디오 데이터를 다르기 위해서는 OS에 맞는 audio backend를 설치해주면 정상적으로 I/O가 가능하다. # windows $ pip install soundfile # linux $ pip install sox 공감수 0 댓글수 0 2023. 8. 2.
module 'distutils' has no attribute 'version' 에러를 해결하자 module 'distutils' has no attribute 'version' 에러 가 가끔 발생하는 경우가 있는데.. 이 경우는 setuptools 라이브러리 버전 문제로 특정 버전으로 설치를 해주면 간단히 해결할 수 있다. $ pip install setuptools==59.5.0 이 버전으로 다시 설치해주면 문제없이 동작 가능.. 공감수 0 댓글수 0 2023. 7. 31.
windows 환경에서 tar.gz 압축을 해제하자 linux 에서 압축을 하면 일반적으로 *.tar.gz 파일로 압축하는 경우가 많다. 이 형태는 파일을 tar을 이용하여 하나로 묶고 gzip으로 한번 더 압축한 형태라 한다. 이런 파일을 윈도우에서 반디집 등의 일반적인 압축 프로그램을 이용하여 해제하면 먼저 *.tar.gz -> *.tar 로 한번 해제하고 *.tar파일을 다시 한번 푸는 두번의 과정이 필요할 뿐만 아니라 데이터 양에 비해 압축 해제 속도가 느린 편(인것 같)다. 별도의 sw 설치 없이 윈도우에서도 linux에서와 같이 한번에 압축을 해제하는 방법을 정리. 터미널에서 tar을 쳐보면 "tar: Must specify one of -c, -r, -t, -u, -x" 과 같은 메세지가 나온다. tar이 설치되어 있다는 얘기지.. 몰랐네.... 공감수 0 댓글수 0 2023. 7. 31.
[Pytorch] DDP 환경에서 load_state_dict 사용시 OOM 발생 상황을 해결하자 DDP 환경을 구성하고 scratch 부터 학습할때는 잘 동작하던 코드에서 backbone에 pretrained weight를 load 하니 바로 OOM이 발생하는 상황을 만나버렸다. 초기 상황 구성은 아래와 같았다. # OOM이 발생한 코드 model = get_model() checkpoint_path = r"~~~" checkpoint = torch.load(checkpoint_path) model.load_state_dict(checkpoint) model = torch.nn.parallel.DistributedDataParallel(~~~) 단순히 초기 weight 만 읽어왔을 뿐인데 OOM이 터져버리니 당황스럽긴 한데 메모리 동작하는 꼴을 보니 0번 GPU 가 메모리 터져서 발생한 상황인 듯 .. 공감수 0 댓글수 0 2023. 6. 8.
[Pytorch] Boolean value of Tensor with more than one value is ambiguous 에러를 해결하자. pytorch 코드를 사용하다 위와같은 에러를 만난 경우가 있다. 가끔 만나는 에러라 뭐였지 하고 검색했다가 아 이거였지 하는 내모습에.. 이번에는 기록을 해 둔다.. 보통 내 경우는 loss 함수를 선언하고 해당 객체에 logit 과 label을 넣어줘야 하는데 loss 를 선언하며 파라미터로 logit과 label을 넣어버려서 이런 경우가 발생했다. 즉, # error 상황 loss = loss_func(logit, label) # 올바른 코드 loss = loss_func()(logit, label) 객체 생성 후 값을 넣어주면 해당 에러는 해결 된다. 공감수 0 댓글수 0 2023. 6. 7.
[pycharm] ctrl + 휠로 폰트 크기를 조절하자 일반적인 에디터에서는 컨트롤 + 마우스 휠을 통해 폰트 크기 조절이 가능하다 그러나 파이참에서는 기본적으로 이 옵션이 꺼져있어서 편의를 위해 활성화 시켜 주자 File - Settings.. - Editor - General - Mouse Control - Change font size with Ctrl+Mouse Wheel in: 활성화 공감수 0 댓글수 0 2023. 1. 10.
rsync를 이용하여 진행률을 보며 복사하자 일반적으로 파일을 복사할때 cp를 이용했으나 이러면 얼마나 진행됐는지 알수가 없다 그래서 advanced copy 나 rsync를 사용하여 진행률을 보며 파일 복사하면 좋다. 백업에도 사용되고 다른 여러 사용법이 많지만 그 중에서도 파일 복사에 촛점을 맞춰 rsync에 대한 사용법만 기록을 해 두자.. $ rsync -ah --info=progress2 공감수 0 댓글수 0 2022. 12. 15.
No module named '_overlapped' 문제를 해결하자 파이썬 프로젝트를 사용하던 중 잘 돌아가던 프로젝트인데 갑자기 "No module named '_overlapped'" 에러가 발생한 것을 확인했다. 이는 vscode에서 자동으로 생성한 코드 때문에 발생 한 문제로 확인됨.. NULL을 사용할 경우 vscode 가 자동으로 코드 상단에 "from asyncio.windows_events import NULL" 를 추가하는데 이놈이 문제가 된다. 해결 방법은 간단하게 자동으로 추가된 라인을 지우고 사용해도 별다른 이슈는 발생하지 않는다. 공감수 0 댓글수 1 2022. 11. 1.
windows 11 작업표시줄 시계 크기 오류를 해결하자 windows 11에서는 아직 작업표시줄 크기를 강제 변경하면 시계와 시스템트레이 크기가 어긋나는 버그가 있다 뭐 언젠간 해결되겠지만 당장은 시계 부분 표시도 이상하니 불편하고 기존 윈도우10 에서는 시계를 눌러 달력 화면으로 들어가면 초단위 시간도 확인 가능했으나 윈도우11 부터는 초단위 확인이 불가능 해졌다. 이러한 이유로 서드파티 시계 앱을 활용하여 문제를 해결.. https://github.com/martinet101/ElevenClock GitHub - martinet101/ElevenClock: ElevenClock: Customize Windows 11 taskbar clock ElevenClock: Customize Windows 11 taskbar clock. Contribute to m.. 공감수 0 댓글수 0 2022. 10. 5.
windows 11 작업표시줄 크기를 변경하자 [ 작성 중 ] 공감수 0 댓글수 0 2022. 10. 5.
skvideo vread 시 FFmpeg 관련 에러를 해결하자 skvideo.io 를 사용하던 도중 AssertionError: Cannot find installation of real FFmpeg (which comes with ffprobe). vread시 위와 같은 에러를 만났다. 이럴 경우 ffmpeg를 설치해주면 정상적으로 vread를 사용할 수 있다. >> conda install ffmpeg -c mrinaljain17 공감수 0 댓글수 0 2022. 9. 2.
conda 사용중 "An HTTP error occurred" 가 발생할 경우 conda 사용 중 "An HTTP error occurred when trying to retrieve this URL" 에러가 발생할 경우 서버 접속이 차단되어 발생하는 문제라 함. 이럴 경우 config 를 수정하여 해결 가능.. 하다는데 $ conda config --set ssl_verify False (내 경우는 이 방법으로 해결 안됨..해결 후 업데이트 예정.) 공감수 0 댓글수 0 2022. 8. 29.
windows terminal(powershell) 에서도 conda를 사용하자 일반적으로 command prompt 를 사용하다 powershell을 사용 해 보기 시작했다. 그러나 powershell 환경에서는 conda가 적용되어 있지 않아 powershell 에서 conda를 사용하는 방법을 기록. 0. conda 설치 및 환경변수 설정은 cmd에서 미리 했다고 치고... 1. powershell 환경에서 conda init conda init powershell 2. (관리자모드 필요) 로컬시스템 실행 정책 업데이트 Set-ExecutionPolicy -ExecutionPolicy RemoteSigned 3. powershell 재시작 공감수 0 댓글수 0 2022. 8. 2.
vscode terminal 에 conda를 연결하자 이전글에서 vscode에 가상환경을 연결하는 것까지는 설정했다. 그러나 ctrl + ` 를 이용하여 터미널을 열 경우 conda가 연결되지 않는 현상이 있어서 터미널에 conda 환경을 연결하는 방법을 기록. 1. 시스템 환경변수 path 에 conda path 설정 - {conda root} - {conda root}/Library - {conda root}/Scripts 2. default terminal 변경 (default termianl이 windows powershell인 경우) - command palatte - Terminal: Select Default Profile 선택 - Command Prompt 선택 공감수 0 댓글수 0 2022. 7. 6.
vscode에 conda 가상환경을 연결하자. conda 가상환경을 구축하여 사용중이고 IDE로 pycharm을 주로 사용하다 vscode도 사용하기 위해 설치 후 가상환경을 연결하는 방법을 기록. 1. command palette (ctrl + shift + p) 2. Python: Select Interpreter 3. 사용하고자 하는 가상환경 선택 공감수 0 댓글수 0 2022. 7. 6.
vscode keymap을 변경하자 기본적으로 vscode keymap이 visual studio와 다른 부분이 있다. visual studio keymap 에 익숙해진 나로써는 불편한 부분이 있어 keymap 변경을 위한 방법을 기록. 1. vscode 설치 된 상태에서 2. https://marketplace.visualstudio.com/items?itemName=ms-vscode.vs-keybindings keymap 파일 설치 공감수 0 댓글수 0 2022. 7. 6.
골뱅이 연산자의 의미 (행렬곱). 이전에 파이썬에서 쓰이는 골뱅이는 데코레이터의 역할로 확인했었고 그것만 기억하고 있었다. 골뱅이, DECORATOR를 이용하여 함수 실행시간을 측정하자. 골뱅이, decorator를 이용하여 함수 실행시간을 측정하자. 프로그램을 구현하다 보면 특정 기능이 어느정도 시간을 소요하는지 확인이 필요한 경우가 있다. 이럴때 보통 아래와 같이 시간 측정을 위한 code 앞뒤에서 time 라이브러리를 이용하여 시간을 계 jangjy.tistory.com 이후 코드를 보다 중간에 골뱅이가 쓰인것을 보고 찾아본 다른 사용법. @ 연산자는 numpy에서 matmul 또는 dot와 같은 역할을 한다. 즉, 행렬곱을 계산하는 연산자이다. asterisk로 표현되는 element-wise 곱 연산이 아닌 행렬-행렬간 곱을 계.. 공감수 2 댓글수 0 2022. 5. 9.
프린터 용지 부족 문제를 해결하자 프린터를 사용하다 보면 용지가 충분한데도 용지없음 상태로 인쇄가 불가능 할 때가 있다 이럴 경우 해결을 위해 메모 1. 컴퓨터관리 - 서비스 및 응용프로그램 - 서비스 - Print Spooler 2. 서비스 중지 - 재시작 위 과정을 통해 프린터 상태를 업데이트 할 수 있고 이후 정상적으로 출력이 가능 해 진다. 공감수 0 댓글수 0 2022. 4. 11.
[MXNet] 데이터 리스트를 만들고 rec 파일로 만들어 보자 MXNet 프레임워크에서는 RecordIO 를 이용하여 학습에 사용되는 데이터의 리스트를 만들고 해당파일을 rec파일로 만들어서 학습에 사용한다 단순히 이미지를 순차적으로 읽어 오는 경우에 비해 학습에 걸리는 시간이 유의미하게 차이나기 때문에 필요한 경우 rec파일로 만들어서 사용하면 도움이 될 수 있다. 파일 변환에는 im2rec.py 파일을 이용하고 해당 파일은 공식 github에서 받을 수 있다. https://github.com/apache/incubator-mxnet/blob/master/tools/im2rec.py GitHub - apache/incubator-mxnet: Lightweight, Portable, Flexible Distributed/Mobile Deep Learning wit.. 공감수 0 댓글수 0 2022. 4. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.