'Programming/Python'에 해당되는 글 58건

conda 설치 후 create 로 가상환경 생성까지는 정상적으로 잘 동작했으나

생성 이후 activate 하려하니 아래와 같은 에러를 뿜으며 동작하지 않는 현상을 확인.

conda: error: argument COMMAND: invalid choice: 'activate' (choose from 'clean', 'compare', .....(이하생략) .....

이럴 때 정상 사용을 위한 방법은 매우 간단했다. 

1. conda init

conda init <shell-name> # e.g., zsh or bash

2. shell 재시작

3. 정상동작, 끝. 

Anaconda 의 경우 회사의 규모가 커지면 라이센스 문제가 생기게 되었다..

이 경우 Miniconda 와 conda-forge 채널을 이용하여 라이센스 문제를 해결할 수 있기에 추후 재설치시를 위한 정리

1. Miniconda 설치

2. Channel 설정

conda config --add channels conda-forge
conda config --set channel_priority strict
conda config --remove channels defaults

# 확인용
conda config --show channels

(추가) 가상환경의 경우 예전에는 AnacondaPath\envs 에 생성되었으나

이제는 users\.conda\envs 에 생성되어 Anaconda -> Miniconda로 변경해야 될 때 가상환경 관련해서는 

따로 수정하지 않아도 그대로 활용 가능하다.

참고출처 : https://devocean.sk.com/blog/techBoardDetail.do?ID=164615

"ffmpeg error while loading shared libraries libopenh264.so.5 cannot open shared object file"

위와같은 에러를 만났다.. 이럴 경우 해결방법 두가지..

1. ffmpeg 대신 ffmpeg-python 패키지 사용

패키지 중에 ffmpeg 이란놈이 있고 ffmpeg-python 이란 놈이 있던데 내부 구현까지는 모르겠고..

ffmpeg 이 보통 pytorch의 torchvision과 함께 설치되는데 torchvision과 관련된 이슈가 아니라면 

둘 다 설치되어 있을경우나 ffmpeg 만 설치되어 있는경우 기존의 패키지를 삭제하고 

ffmpeg-python 패키지를 설치하여 사용하면 해결 될 수도 있다.

2. ffmpeg update

기존에 설치되어 있던 ffmpeg 버전에 따른 이슈로 update를 통해 판올림을 해주면 해결될 수도 있다

나의 경우는 이 방법으로 문제가 해결되었다. 

ubuntu에서 python을 실행하면 python command를 찾지 못했다는 얘기를 할 떄가 있다

그럴 경우 python2 / python3 과 같이 버전을 명시해주면 되긴 하지만.. 요즘 python2를 쓸일이 거의 없지..

python3을 기본 python으로 설정하는 방법 정리

1. alias 로 설정하기

vim ~/.bashrc
alias python=python3
:wq # 저장 후 종료
source ~/.bashrc

2. 패키지 설치

sudo apt install python-is-python3

module 'distutils' has no attribute 'version' 에러 가 가끔 발생하는 경우가 있는데.. 

이 경우는 setuptools 라이브러리 버전 문제로 특정 버전으로 설치를 해주면 간단히 해결할 수 있다.

$ pip install setuptools==59.5.0

이 버전으로 다시 설치해주면 문제없이 동작 가능.. 

파이썬 프로젝트를 사용하던 중 잘 돌아가던 프로젝트인데 갑자기 

"No module named '_overlapped'" 에러가 발생한 것을 확인했다.

이는 vscode에서 자동으로 생성한 코드 때문에 발생 한 문제로 확인됨..

NULL을 사용할 경우 vscode 가 자동으로 코드 상단에

"from asyncio.windows_events import NULL" 를 추가하는데 이놈이 문제가 된다.

해결 방법은 간단하게 자동으로 추가된 라인을 지우고 사용해도 별다른 이슈는 발생하지 않는다.

skvideo.io 를 사용하던 도중 

AssertionError: Cannot find installation of real FFmpeg (which comes with ffprobe).

vread시 위와 같은 에러를 만났다. 

이럴 경우 ffmpeg를 설치해주면 정상적으로 vread를 사용할 수 있다.

>> conda install ffmpeg -c mrinaljain17

일반적으로 command prompt 를 사용하다 powershell을 사용 해 보기 시작했다.

그러나 powershell 환경에서는 conda가 적용되어 있지 않아 

powershell 에서 conda를 사용하는 방법을 기록.

0. conda 설치 및 환경변수 설정은 cmd에서 미리 했다고 치고...

1. powershell 환경에서 conda init

conda init powershell

2. (관리자모드 필요) 로컬시스템 실행 정책 업데이트

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned

3. powershell 재시작

이전글에서 vscode에 가상환경을 연결하는 것까지는 설정했다.

그러나 ctrl + ` 를 이용하여 터미널을 열 경우 conda가 연결되지 않는 현상이 있어서

터미널에 conda 환경을 연결하는 방법을 기록.

1. 시스템 환경변수 path 에 conda path 설정

    - {conda root}

    - {conda root}/Library

    - {conda root}/Scripts

2. default terminal 변경 (default termianl이 windows powershell인 경우)

    - command palatte - Terminal: Select Default Profile 선택

    - Command Prompt 선택

conda 가상환경을 구축하여 사용중이고 IDE로 pycharm을 주로 사용하다

vscode도 사용하기 위해 설치 후 가상환경을 연결하는 방법을 기록.

1. command palette (ctrl + shift + p)

2. Python: Select Interpreter 

3. 사용하고자 하는 가상환경 선택

기본적으로 vscode keymap이 visual studio와 다른 부분이 있다.

visual studio keymap 에 익숙해진 나로써는 불편한 부분이 있어 keymap 변경을 위한 방법을 기록.

1. vscode 설치 된 상태에서

2. https://marketplace.visualstudio.com/items?itemName=ms-vscode.vs-keybindings keymap 파일 설치

이전에 파이썬에서 쓰이는 골뱅이는 데코레이터의 역할로 확인했었고 그것만 기억하고 있었다.

골뱅이, DECORATOR를 이용하여 함수 실행시간을 측정하자.

이후 코드를 보다 중간에 골뱅이가 쓰인것을 보고 찾아본 다른 사용법.

@ 연산자는 numpy에서 matmul 또는 dot와 같은 역할을 한다.

즉, 행렬곱을 계산하는 연산자이다.

asterisk로 표현되는 element-wise 곱 연산이 아닌 행렬-행렬간 곱을 계산할때 사용한다.

딕셔너리, json 등을 print로 찍어 볼 일이 가끔 있는데 

이런 데이터들은 그냥 print로 출력하면 정보가 구분없이 한주롤 쭉 나와서 가독성이 크게 떨어진다

이럴 때 사용가능한 예쁜 출력 - pretty print -> pprint!

사용법은 매우 심플하게

pprint 모듈의 pprint를 import 해 준 뒤 print 대신 pprint를 사용하면 된다

from pprint import pprint

data = {~~~~블라블라~~~}

# 기존 출력 
print(data)

# 예쁘게 출력
pprint(data)

이미지 파일을 사용하다 보면 파일명의 확장자와 실제 이미지의 포맷이 다른 경우가 가끔 있다.

이런 파일을 확인하기 위한 방법 정리.

파이썬의 PIL-Image 모듈을 이용하면 쉽게 실제 포맷을 확인 할 수 있다.

from PIL import Image
 
img = Image.open("sample01.jpg")
img.format

>> 'GIF' 
# 이 경우 파일명 확장자는 jpg 이나 실제 이미지 포맷은 gif인 경우.

실제 정보를 확인 한 후 적절한 처리를 하고 사용하면 된다.

외부 라이브러리들을 사용하다보면 여러 이유로 warning이 발생하곤 한다

정보 전달을 목적으로 경고를 띄워주는 것이긴 하지만 

release 상태에서는 경고 없이 실행한 결과만 보고싶을 때 아래와 같이 경고를 끄는것이 가능하다

import warnings

# warning off
warnings.filterwarnings("ignore")

# warning on
warnings.filterwarnings("default")

pickle 데이터를 load 할 때 가끔 unsupport protocol 에러를 보는 경우가 있다.

이 경우 dump 한 버전과 load 한 버전이 달라서 발생하는 문제.

기본 버전을 확인하기 위해 기록

pycharm 을 이용하다 보면 프로젝트 폴더에 있는 파일에 대해 인덱싱을 수행한다. 

파일 수가 얼마 없을때는 금방 끝나지만 프로젝트 폴더 안에 파일이 많거나 

수행 결과물이 대량으로 생성되는 경우에는 다시 인덱싱을 수행하느라 CPU도 엄청 잡아먹고

인덱싱 중에는 또 실행도 안되는 문제가 있다.

그래서 DB 폴더나 출력폴더와 같이 별도의 인덱싱이 필요하지 않은 폴더를 제외하는 방법을 기록

1. File - Settings - Project - Project Structure 

2. 프로젝트 폴더 중 제외 할 폴더를 선택

3. 상단의 Mark as: 항목 중 Excluded 를 선택.

위 과정을 거치면 제외될 폴더가 structure 에서 붉은색 아이콘으로 excluded 되고 

해당 폴더 내의 파일은 인덱싱에서 제외 된다.

string을 사용하다 보면 내용 앞에 특정 값을 삽입하여 전체 문자열의 길이를 맞춰야 할 경우가 있다

그럴 경우 사용 가능한 함수 정리

1. zfill(width)

# zfill 은 자리수에 맞춰 0값으로 채워준다

> "123".zfill(5)
# "00123"

> "1".zfill(4)
# "0001"

2. rjust(width, fillchar)

# rjust 은 자리수에 맞춰 fillchar값으로 채워준다

> "123".rjust(5, '0')
# "00123"

> "1".rjust(4, '0')
# "0001"

> "123".rjust(5, 's')
# "ss123"

> "1".rjust(4, 's')
# "sss1"

github 등 외부에서 작성된 코드들을 보다보면 requirements.txt 파일을 종종 보게 된다

이는 해당 코드 동작에 필요한라이브러리 목록을 적어 둔 것으로 

이 파일을 읽어 모든 라이브러리를 한번에 설치하는것이 가능하다. 

이러한 사용중인 설치된 라이브러리 목록을 requirements.txt로 만드는 방법 정리.

패기지 목록을 생성하기 위해서는 freeze 라는 명령어를 사용한다.

# > 는 결과물을 파일 등으로 출력할 때 사용.
>> pip freeze > requirements.txt

하지만 이렇게 출력하니 버전이 올바르게 출력된 패키지도 있는 반면

일부 패키지는 버전 정보가 올바르게 표현되지 않는 경우도 있었다.

# 예시
matplotlib @ file:///C:/ci/matplotlib-base_1597858387645/work
numpy==1.20.2

이러한 현상을 방지하기 위해서는 아래와 같이 list를 출력하여 사용하면 위와같은 문제가 발생하지 않는다.

>> pip list --format=freeze > requirements.txt

# 출력파일 예시
matplotlib==3.3.1
numpy==1.20.2

추가로 requirements.txt. 에 정의된 라이브러리를 일괄 설치하기 위해서는 아래와 같이 사용한다.

>> pip install -r requirements.txt

일반적으로 round는 반올림을 하는 함수로 생각하고 있었다.

5미만은 버림, 5이상은 올림을 수행하는 통계적인 반올림..

그러나 파이썬에서 round는 이러한 통계적 반올림을 수행하는 것이 아니란것을 알게됨.

그렇다면? 파이썬의 round는 0 또는 짝수에 가깝게 만드는 방향으로 수행된다.

예를들어 0.5, 1.5, 2.5 의 값이 있을경우 각각의 반올림 결과는

0, 2, 2 가된다. ( 1, 2, 3 이 아니고?? )

왜냐하면 python의 수학적 반올림 기법에서는

0 < 0.5 << 1(홀수)

1(홀수) << 1.5 < 2 (짝수)

2(짝수) < 2.5 << 3 (홀수) 

로 처리되어 1.5와 2.5의 round 결과가 동일하게 처리됨을 알 수 있다.

정확한 통계적 반올림 결과가 필요하다면 직접 구현이 필요할 것이고,

아니라면 round의 특성을 알고 사용해야 나중에 멘붕에 빠지지 않을수 있겠네..