'Programming/Python'에 해당되는 글 52건

skvideo.io 를 사용하던 도중 

AssertionError: Cannot find installation of real FFmpeg (which comes with ffprobe).

vread시 위와 같은 에러를 만났다. 

이럴 경우 ffmpeg를 설치해주면 정상적으로 vread를 사용할 수 있다.

>> conda install ffmpeg -c mrinaljain17

일반적으로 command prompt 를 사용하다 powershell을 사용 해 보기 시작했다.

그러나 powershell 환경에서는 conda가 적용되어 있지 않아 

powershell 에서 conda를 사용하는 방법을 기록.

0. conda 설치 및 환경변수 설정은 cmd에서 미리 했다고 치고...

1. powershell 환경에서 conda init

conda init powershell

2. (관리자모드 필요) 로컬시스템 실행 정책 업데이트

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned

3. powershell 재시작

이전글에서 vscode에 가상환경을 연결하는 것까지는 설정했다.

그러나 ctrl + ` 를 이용하여 터미널을 열 경우 conda가 연결되지 않는 현상이 있어서

터미널에 conda 환경을 연결하는 방법을 기록.

1. 시스템 환경변수 path 에 conda path 설정

    - {conda root}

    - {conda root}/Library

    - {conda root}/Scripts

2. default terminal 변경 (default termianl이 windows powershell인 경우)

    - command palatte - Terminal: Select Default Profile 선택

    - Command Prompt 선택

conda 가상환경을 구축하여 사용중이고 IDE로 pycharm을 주로 사용하다

vscode도 사용하기 위해 설치 후 가상환경을 연결하는 방법을 기록.

1. command palette (ctrl + shift + p)

2. Python: Select Interpreter 

3. 사용하고자 하는 가상환경 선택

기본적으로 vscode keymap이 visual studio와 다른 부분이 있다.

visual studio keymap 에 익숙해진 나로써는 불편한 부분이 있어 keymap 변경을 위한 방법을 기록.

1. vscode 설치 된 상태에서

2. https://marketplace.visualstudio.com/items?itemName=ms-vscode.vs-keybindings keymap 파일 설치

이전에 파이썬에서 쓰이는 골뱅이는 데코레이터의 역할로 확인했었고 그것만 기억하고 있었다.

골뱅이, DECORATOR를 이용하여 함수 실행시간을 측정하자.

이후 코드를 보다 중간에 골뱅이가 쓰인것을 보고 찾아본 다른 사용법.

@ 연산자는 numpy에서 matmul 또는 dot와 같은 역할을 한다.

즉, 행렬곱을 계산하는 연산자이다.

asterisk로 표현되는 element-wise 곱 연산이 아닌 행렬-행렬간 곱을 계산할때 사용한다.

딕셔너리, json 등을 print로 찍어 볼 일이 가끔 있는데 

이런 데이터들은 그냥 print로 출력하면 정보가 구분없이 한주롤 쭉 나와서 가독성이 크게 떨어진다

이럴 때 사용가능한 예쁜 출력 - pretty print -> pprint!

사용법은 매우 심플하게

pprint 모듈의 pprint를 import 해 준 뒤 print 대신 pprint를 사용하면 된다

from pprint import pprint

data = {~~~~블라블라~~~}

# 기존 출력 
print(data)

# 예쁘게 출력
pprint(data)

이미지 파일을 사용하다 보면 파일명의 확장자와 실제 이미지의 포맷이 다른 경우가 가끔 있다.

이런 파일을 확인하기 위한 방법 정리.

파이썬의 PIL-Image 모듈을 이용하면 쉽게 실제 포맷을 확인 할 수 있다.

from PIL import Image
 
img = Image.open("sample01.jpg")
img.format

>> 'GIF' 
# 이 경우 파일명 확장자는 jpg 이나 실제 이미지 포맷은 gif인 경우.

실제 정보를 확인 한 후 적절한 처리를 하고 사용하면 된다.

외부 라이브러리들을 사용하다보면 여러 이유로 warning이 발생하곤 한다

정보 전달을 목적으로 경고를 띄워주는 것이긴 하지만 

release 상태에서는 경고 없이 실행한 결과만 보고싶을 때 아래와 같이 경고를 끄는것이 가능하다

import warnings

# warning off
warnings.filterwarnings("ignore")

# warning on
warnings.filterwarnings("default")

pickle 데이터를 load 할 때 가끔 unsupport protocol 에러를 보는 경우가 있다.

이 경우 dump 한 버전과 load 한 버전이 달라서 발생하는 문제.

기본 버전을 확인하기 위해 기록

pycharm 을 이용하다 보면 프로젝트 폴더에 있는 파일에 대해 인덱싱을 수행한다. 

파일 수가 얼마 없을때는 금방 끝나지만 프로젝트 폴더 안에 파일이 많거나 

수행 결과물이 대량으로 생성되는 경우에는 다시 인덱싱을 수행하느라 CPU도 엄청 잡아먹고

인덱싱 중에는 또 실행도 안되는 문제가 있다.

그래서 DB 폴더나 출력폴더와 같이 별도의 인덱싱이 필요하지 않은 폴더를 제외하는 방법을 기록

1. File - Settings - Project - Project Structure 

2. 프로젝트 폴더 중 제외 할 폴더를 선택

3. 상단의 Mark as: 항목 중 Excluded 를 선택.

위 과정을 거치면 제외될 폴더가 structure 에서 붉은색 아이콘으로 excluded 되고 

해당 폴더 내의 파일은 인덱싱에서 제외 된다.

string을 사용하다 보면 내용 앞에 특정 값을 삽입하여 전체 문자열의 길이를 맞춰야 할 경우가 있다

그럴 경우 사용 가능한 함수 정리

1. zfill(width)

# zfill 은 자리수에 맞춰 0값으로 채워준다

> "123".zfill(5)
# "00123"

> "1".zfill(4)
# "0001"

2. rjust(width, fillchar)

# rjust 은 자리수에 맞춰 fillchar값으로 채워준다

> "123".rjust(5, '0')
# "00123"

> "1".rjust(4, '0')
# "0001"

> "123".rjust(5, 's')
# "ss123"

> "1".rjust(4, 's')
# "sss1"

github 등 외부에서 작성된 코드들을 보다보면 requirements.txt 파일을 종종 보게 된다

이는 해당 코드 동작에 필요한라이브러리 목록을 적어 둔 것으로 

이 파일을 읽어 모든 라이브러리를 한번에 설치하는것이 가능하다. 

이러한 사용중인 설치된 라이브러리 목록을 requirements.txt로 만드는 방법 정리.

패기지 목록을 생성하기 위해서는 freeze 라는 명령어를 사용한다.

# > 는 결과물을 파일 등으로 출력할 때 사용.
>> pip freeze > requirements.txt

하지만 이렇게 출력하니 버전이 올바르게 출력된 패키지도 있는 반면

일부 패키지는 버전 정보가 올바르게 표현되지 않는 경우도 있었다.

# 예시
matplotlib @ file:///C:/ci/matplotlib-base_1597858387645/work
numpy==1.20.2

이러한 현상을 방지하기 위해서는 아래와 같이 list를 출력하여 사용하면 위와같은 문제가 발생하지 않는다.

>> pip list --format=freeze > requirements.txt

# 출력파일 예시
matplotlib==3.3.1
numpy==1.20.2

추가로 requirements.txt. 에 정의된 라이브러리를 일괄 설치하기 위해서는 아래와 같이 사용한다.

>> pip install -r requirements.txt

일반적으로 round는 반올림을 하는 함수로 생각하고 있었다.

5미만은 버림, 5이상은 올림을 수행하는 통계적인 반올림..

그러나 파이썬에서 round는 이러한 통계적 반올림을 수행하는 것이 아니란것을 알게됨.

그렇다면? 파이썬의 round는 0 또는 짝수에 가깝게 만드는 방향으로 수행된다.

예를들어 0.5, 1.5, 2.5 의 값이 있을경우 각각의 반올림 결과는

0, 2, 2 가된다. ( 1, 2, 3 이 아니고?? )

왜냐하면 python의 수학적 반올림 기법에서는

0 < 0.5 << 1(홀수)

1(홀수) << 1.5 < 2 (짝수)

2(짝수) < 2.5 << 3 (홀수) 

로 처리되어 1.5와 2.5의 round 결과가 동일하게 처리됨을 알 수 있다.

정확한 통계적 반올림 결과가 필요하다면 직접 구현이 필요할 것이고,

아니라면 round의 특성을 알고 사용해야 나중에 멘붕에 빠지지 않을수 있겠네..

data loader 등을 사용하다 보면 자주 쓰이는 tqdm과 enumerate.

보통 코드에 기본적으로 enumerate를 사용하게 구현되어있고 

여기에 프로그레스 정보를 보고싶어 tqdm으로 감싸주면 정보가 제대로 표시되지 않는 문제가 발생한다.

이 문제는 생각보다 간단한 문제로

tqdm을 겉에 두르면 이녀석이 관찰하는 데이터는 enumerate의 정보이기 떄문에 제대로 표시가 안 된 것이다.

해결방법은 더 간단하게 enumerage와 tqdm의 순서를 바꿔주면 된다.

# tqdm progress 정보 제대로 출력 X
for ii, data in tqdm(enumerate(dataset)):

# tqdm progesss 정보 제대로 출력 O
for ii, data in enumerate(tqdm(dataset)):

python을 사용하면서 막연히 파이썬의 함수 파라메터는 call by value 방식이라고 생각했다.

문득 내가 쓰는 코드를 보니 왜 그렇게 짰는지도 모르겠지만 call by reference 형태로 동작하는 

코드를 짜서 쓰고있는 부분을 발견.. 

그럼 파이썬은 call by value야? call by reference야?.. 궁금해서 찾아본 결과는

파이썬은 call by assignment 방식 또는 call by object reference 라고 표현하더라.

어떤 의미냐 하면 우선 파이썬의 표준타입들을 보면 여러 타입이 있지만 그 중에서 

상수(숫자), 문자열, 바이트, 튜플 이 네가지 타입은 불변 타입이고 나머지 타입은 가변타입이다.

파라미터로 사용될때 불변타입은 값 변경이 불가능하여 새로운 객체로 복사전달되어 call by value 처럼 동작하고,

나머지 가변타입들은 값 변경이 가능하여 call by reference 방식으로 동작하게 된다.

막연히 사용하던 내용인데 이 부분도 참 편하다 파이썬..

요즘이야 python 3.x를 보통 사용하니 별 문제가 될일이 없지만

가끔 python2.x 버전을 사용해야 하는 경우가 있다.

이런 환경에서 opencv-python을 설치하려 하면 버전 문제로 설치가 안되는 경우가 발생한다.

이는 opencv-python 최신 버전에서 더이상 python2버전을 지원하지 않기 때문이다.

버전 history에 관한 자세한 내용은 아래 pypi 사이트에서 확인할 수 있다.

pypi.org/project/opencv-python/#history

그래서 아래와 같이 python2버전을 지원하는 버전으로 지정하여 설치하면 된다.

파이썬 2버전을 지원하는 마지막 opencv-python 은 4.2.0.32 버전이다.

$ pip2 install opencv-python==4.2.0.32

리스트를 이용하여 데이터를 관리하다 보면 중복 데이터가 발생하는 경우가 있다.

중복 데이터 제거가 필요한 경우를 위하여 방법 기록.

1. for문을 이용한 중복 제거 (순서 유지)

반복문을 이용하여 새로운 리스트에 값을 append. 이 과정에서 새로운 리스트에 값이 있으면 skip.

old_list = [1, 2, 3, 1, 3, 4, 5, 6, 7]
new_list = []

for ii in old_list:
	if ii not in new_list:
    	new_list.append(ii)

return new_list
# new_list == [1, 2, 3, 4, 5, 6, 7]

2. set을 이용한 중복 제거 (순서 유지 안됨)

중복데이터를 허용하지 않는 set 자료형을 이용하여 형변환을 이용한 중복 제거. 이 과정에서 순서는 보장 X

old_list = [1, 2, 3, 1, 3, 4, 5, 6, 7]
temp_set = set(old_list)
new_list = list(temp_set)

return new_list
# new_list == [1, 2, 3, 4, 5, 6, 7]
# 단, 순서는 원 데이터에 따라 달라질 수 있음.

파이썬에서 파일을 저장할 때 인코딩 방식이 정해지면

다시 읽을때도 해당 방식으로 디코딩을 해야 정상적인 데이터를 읽을 수 있다.

나의 경우에는 보통 이런 문제는 windows <-> linux 환경에서 자주 겪었다.

매번 어떤 환경에서 어떤 방식을 썼는지 햇갈리니 일단 기록.

1. 인코딩 방식 확인하기

1.1 기본 시스템 인코딩 타입 확인하기

import sys

sys.stdin.encoding
# cp949

sys.stdout.encoding
# cp949

1.2 라이브러리를 이용하여 문자열 / 파일의 인코딩 타입 확인하기

# chardet 라이브러리를 이용
# pip install chardet


import chardet

# 문자열
str = "example text"
print(chardet.detect(str.encode))
# {'encoding': 'cp949', 'confidence': 0.99, 'language': ''}

# 파일
with open("./example_file.txt", 'r') as file:
	line = file.readline()
    
    print(chardet.detect(line.encode()))
    # # {'encoding': 'cp949', 'confidence': 0.99, 'language': ''}

2. encoding= 파라미터로 인코딩 방식 지정하기

with open("./example_file.txt", 'r', encoding="cp949") as file:
	line = file.readline()

3. (참고용) os에 따른 기본 인코딩 타입 (python 3.7 기준)

• windows : cp949
• linux : utf-8

파이썬 버전에 따른 인코딩 타입이 다른지는 모르겠다. (확인되면 수정하기)

euc-kr 도 종종 보이나 cp949가 euc-kr의 상위 버전이므로 가능하면 cp949를 사용하자.

for문과 함께 많이 사용하는 기능 중 꽤나 유용한 enumerate.

일반적으로 순회할 데이터를 enumerate로 감싸서 데이터와 인덱스를 받아오는데 사용한다.

# data list
data = ["red", "blue", "green", "black", "white"]

# range를 이용한 인덱스와 데이터 출력
for ii in range(len(data)):
	output = "Idx : %d / Data : %s" % (ii, data[ii])
    print(output)

# enumerate를 이용한 인덱스와 데이터 출력
# range, len 함수를 하나로 줄이고 데이터에 인덱스로 접근하는 과정을 생략
for ii, color in enumerate(data):
	output = "Idx : %d / Data : %s" % (ii, color)
    print(output)
# Idx : 0 / Data : red
# Idx : 1 / Data : blue
# Idx : 2 / Data : green
# Idx : 3 / Data : black
# Idx : 4 / Data : white

일반적으로는 enumerate에 첫번째 파라미터만 채워서 사용했는데

두번쨰 파라미터로 시작인덱스값을 지정 가능하다는것을 알게되어 기록

# data list
data = ["red", "blue", "green", "black", "white"]

# enumerate를 이용한 인덱스와 데이터 출력
# 두번째 파라미터로 시작 인덱스를 지정할 수 있다.
for ii, color in enumerate(data, 100):
	output = "Idx : %d / Data : %s" % (ii, color)
    print(output)
# Idx : 100 / Data : red
# Idx : 101 / Data : blue
# Idx : 102 / Data : green
# Idx : 103 / Data : black
# Idx : 104 / Data : white