위 내용을 시각적으로 잘 설명한 내용이 있어서 나중에 참고용으로 기록. 한눈에 잘 보이게 정리 잘 해 놓으신 듯..

분류 모델(Classification) 에 대한 모델 평가

라벨이 있는 경우에는 분류 모델에 대한 모델 평가 방법을 사용한다.

Confusion matrix

이진 분류 문제에서 암의 양성과 음성 데이타를 가지고 있는 데이타 가 있다고 하자

만약 모델의 정확도가 100%이면, 양성과 음성 데이타를 100% 잘 구분할것이다. 아래 그림과 같이, 양성으로 분 예측된 영역을 Positive prediction, 음성으로 분리된 영역을 Negative prediction 이라고 한다.

그런데 실제 세계에서는 정확도 100% 모델은 매우 드물고 실제로는 아래 그림과 같이 예측이 되는 경우가 많다.

양성과 음성 데이타가 각각 잘못되는 경우가 있다.

• 양성인데, 양성으로 제대로 검출된것은 True Positive (TP)

• 음성인데 음성으로 제대로 검출된것은 True Negative (TN)

• 양성인데 음성으로 잘못 검출된것은 False Negative (FN)

• 음성인데 양성으로 잘못 검출된것은 False Positive (FP)

라고 하고 그림으로 표현하면 다음과 같은 그림이 된다.

보통 이를 표로 표시하는데, 다음과 같이 표현이 된다.

P = TP + FN

N = FP + TN

그러면 이 지표를 가지고 무엇을 하느냐? 이 값을 기반으로 다음과 같은 지표들을 계산하여 모델 평가에 사용한다.

Accuracy

가장 대표적으로 사용되는 지표로 전체 데이타중에서, 제대로 분류된 데이타의 비율로

ACC = (TP + TN)  / (전체 데이타 수 = P + N)

모델이 얼마나 정확하게 분류를 하는지를 나타낸다.

Error Rate

Error Rate는 Accuracy 와 반대로, 전체 데이타 중에서 잘못 분류한 비율을 나타낸다

ERR = (FN+FP) / (전체 데이타수 = P+N)

Sensitivity (Recall or True positive Rate)

민감도라고도 하는데, Sensitive 또는  Recall이라고도 하는데, 원래 Positive 데이타 수에서 Positive로 분류된 수를 이야기 한다. 에를 들어 원본 데이타에 암 양성이 100개 있었는데, 모델에 있어서 90개가 분류되었으면, Sensitive Rate = 0.9 가된다.

SN = (TP) / P

모델이 얼마나 정확하게 Positive 값을 찾느냐를 나타낸다.

Recall (as opposed to precision) is not so much about answering questions correctly but more about answering all questions that have answer "true" with the answer "true". So if we simply always answer "true", we have 100% recall.

Precision

Precision (정밀성)은 Positive로 예측한 내용 중에, 실제 Positive의 비율을 뜻한다.

PREC = TP / (TP+FP)

Precision is about being precise. In common English, being precise means: if you give an answer, the answer will very likely be correct. So even if you answered only one question, and you answered this question correctly, you are 100% precise.

Specificity (True negative rate)

Specificity 값은 Negative 로 판단한것중에, 실제 Negative 값의 비율이다.

SP = TN / TN+FP

False Positive rate

원래는 Positive 값인데, 잘못해서 Negative로 판단한 비율로

FPR = FP / N

이 된다. 예를 들어 게임에서 어뷰징 사용자를 검출했을때 정확도도 중요하겠지만, FPR 값이 높으면, 정상 사용자를 비정상 사용자로 검출하는 경우가 많다는 의미가 된다. 어뷰징 사용자에 대해서는 계정 정지등 패널티를 주게 되는데, 모델이 아무리 어뷰징 사용자를 잘 찾아낸다 하더라도 FPR 값이 높게 되면, 정상적인 사용자를 어뷰징 사용자로 판단하여 선의의 사용자가 징계를 받게 되서, 전체적인 게임 충성도에 문제가 생길 수 있다. (어뷰징 사용자를 많이 찾아내는 것보다, 정상 사용자가 징계를 받게 되는 경우가 비지니스에 크리티컬 할때) 이런 경우에 FPR 값을 레퍼런스 할 수 있다.

그러면, Confusion Matrix를 통해서 계산된 결과를 가지고 모델을 어떻게 평가를 할까? 앞에서 나온 지표중에서 일반적으로 Accuracy 지표가 많이 사용되고, 그외에, ROC , Precision Recall Plot, F-Score 등이 많이 사용되는데 각각에 대해서 알아보자

출처: http://bcho.tistory.com/category/빅데이타/머신러닝 [조대협의 블로그]

outlier 우리말로는 이상치 라고 부른다.

자료의 전체 데이터는 랜덤한 값이 아니라면 일정한 패턴을 가지고 있는게 보통일텐데

그러한 평균형태에서 많이 떨어져 혼자 튀는 값을 갖는 관측값을 outlier 라고 부른다.

뭐 대충 데이터 형태 중간에 포함된 임펄스 노이즈 같은 녀석이라고 생각하면 될 듯 하다.

전체 데이터의 양이 충분할때는 이러한 outlier 가 데이터 전체에 큰 영향을 끼치지는 않지만

반대로 데이터의 양이 충분하지 않을 경우에는 이러한 outlier로 인하여 전체 데이터의 형태가

크게 달라질 수 있으므로 주의해야 할거같다..

=============================================================

2014. 12. 09 추가

항상 데이터의 전반적인 패턴에 포함된 녀석이라고 inlier 인것은 아니고

반대로 전반적인 패턴과 다른 녀석이라고 outlier 가 되는것은 아니다.

내가 원하는 / 계산한 / 검출하고자하는 결과에 부합하는 경우가 inlier

나의 목적에 맞지 않는 녀석이 outlier 가 된다.

Heap / Stack / 이런말들은 메모리 영역을 지칭하는 말이다 

프로그램이 시작될때 OS 로부터 Memory를 할당 받는데 할당받은 영역을 크게 4부분으로 나눠서 사용하게 된다.

먼저 text 영역은 프로그램의 실행 코드들이 올라가는 메모리 공간이다.

Data 영역에는 전역으로 설정한 변수나 Static 변수들이 할당되는 공간으로 이 공간에 선언된 변수들은 프로그램이 

종료되면 자동으로 소멸된다. 

Heap 영역은 사용자가 사용중에 동적으로 할당되는 변수 등이 할당되는 공간이다. 

일반적으로 new 연산자나 malloc 연산자를 이용하여 메모리 공간을 할당하게 되면 이 공간에서 할당이 된다

data 영역과 달리 프로그램 종료시 자동으로 메모리 반환이 이루어 지지 않으므로 사용자가 해제를 해야한다.

Stack 영역은 파라미터나 로컬변수 임시데이터 등 프로그램 실행시 연산에 쓰이는 데이터를 저장하는 공간이다.

data / heap 에 해당되지 않는 변수들이 여기 저장된다고 생각하면 될 것 같다. 

함수에서 사용되는 변수도 이곳에 저장되고 함수 종료와 함께 자동 소멸된다. 

적분 영상(integral image)이란 쉽게 말해서 다음 픽셀에 이전 픽셀까지의 합이 더해진 영상이다. 즉, 다음과 같은 수식으로 표현되는데

여기서 integImage(x, y)는 적분 영상이고 orgImage(x', y')는 원래 영상이다.

적분 영상의 장점은 특정 영역의 픽셀 값의 총합을 매우 쉽게 구할 수 있다는 점이다.

다음의 그림을 보면 이해가 쉬울 것이다.

8*8 크기의 임의의 1채널 영상을 예로 든 것이다. 좌측 상단이 원점이다.

왼쪽의 원래 영상에서 칠해진 영역의 넓이는

오른쪽 적분 영상에서 녹색 영역의 합과 주황색 영역의 합을 뺀 것과 같다.

(물론, 위 영상 전체의 합은 2250으로, 적분 영상에서의 마지막 값과 같다.)

이것을 수식으로 나타내면 다음과 같다.

다음의 그림을 참고하면 원리를 알 수 있다. 

D 영역의  픽셀 값을 얻기 위해서 점 d까지의 넓이에서 점 b까지의 넓이와 점 c까지의 넓이를 뺀 후

두 번 빼진 점 a 까지의 넓이를 한 번 더해줌으로써 D 영역의 넓이를 구할 수 있는 것이다.

  ( [D] = [A+B+C+D] - [A+C] - [A+B] + [A] )

이러한 적분 영상은 하나의 영상에 대해 특정 영역의 픽셀 값의 합을 여러 번 구해야 할 필요가 있을 때 유용하게 사용할 수 있다.

설명이 잘 되있다.

워낙 잘 되있어서 더 쉽게 얘기할것도 없는 듯 하지만 
나중에 내가 다시볼떄 이해하기쉽게 내말로 옮겨 적자면 
영상을 0,0 부터 시작해서 m,n 까지 픽셀성분값의 누적값이 Integral Image의 픽셀값이다 .
적분영상의 장점은 영상 내부의 특정 영역의 내부합을 구할때 간단한 연산으로 구할수 있다는 점이다.
연산 내에서 반복적으로 영역의 합을 필요로 할때는 Integral Image를 구해서 사용하면 빠른 연산이 가능하다. 는 얘기..

주어진 제약 조건 하에서 목적함수를 최적화하는 라그랑지함수의 2계조건이라 볼 수 있다.

헤시안 행렬 H gamma > 0 이면, 일계함수 라그랑지를 만족시키는 근에서 극대이며, 

헤시안 행렬 H gamma < 0 이면, 일계함수 라그랑지를 만족시키는 근에서 극소이다. 

즉 Boardered hessian은, 

주어진 목적함수   에 대하여 헤시안 행렬은 

다음과 같이 계산.. 

헤시안 행렬은, 함수의 기울기벡터 에 대한 야코비 행렬로도 설명이 가능하다

뭐 정리하자면 어떤 함수에 대하여 이계도함수들을 행렬화 시켜놓은것이 헤시안 메트릭스

각 원소의 규칙은 위의 것과 같고 이계도함수 값으로 구성되어 있어서 극값 판명에 사용이 가능하다는점

surf 검색하다 뭔가 궁금해서 찾아보는데., 이것도 모르겠다 ㅋ 당최 아는게 없네

특정 함수가 두번 미분이 가능하고, 미분된 함수가 연속이다 라는 조건을 붙이게 되면 위 식이 성립하게 된다.

그래서 헤시안 메트릭스를 구성하게 되면 대칭행렬의 형태로 나타나게 된다.

사람 1000명을 대상으로 특정 실험을 해서 0점부터 10점까지 점수로 결과를 나타낸다고 가정해 봅시다. 또한 0점은 거짓(병이라면 병이 걸리지 않은 사람), 10점은 참(병이 걸린 사람)을 의미한다고 칩시다.

각 점수별로 참과 거짓의 비가 나옵니다. 즉, 각 점수를 기준으로 했을 때 이 점수 이상은 병에 걸린 사람, 이 점수 미만은 병에 걸리지 않은 사람이라고 가정하는 거죠.

이 비율을 그래프로 그린 것이 ROC 커브입니다.

이를 sensitivity와 specificity의 비율이라 하네요.

가로축은 10- 0~10이 될 것이고(정규화한다면 1-0~1이 되겠네요) 세로축은 0~100%가 되겠죠. 만약 1점을 기준으로 1점 이상 받은 사람이 800명, 1점 미만 받은 사람이 200명이라면 x축이 10-1(정규화 한다면 1-0.1=0.9)일 때의 y값은 0.8이 되겠군요. 2점을 기준으로 2점 이상 받은 사람이 600명 , 2점 미만 받은 사람이 400명이라면 2점을 기준으로 참, 거짓을 나누면 그 퍼센트는 0.6이 될 겁니다. 즉, x=0.8일 때 y=0.6이 되는 거죠.이런 식으로 각각의 x값(기준되는 점수)에 대해서 그 퍼센트를 y축에 나타낸 것이 ROC커브입니다.

지식인 中 

Active Appearance Model 의 약자

An active appearance model (AAM) is a computer vision algorithm for matching a statistical model of object shape and appearance to a new image. They are built during a training phase. A set of images, together with coordinates of landmarks that appear in all of the images, is provided to the training supervisor.

The model was first introduced by Edwards, Cootes and Taylor in the context of face analysis at the 3rd International Conference on Face and Gesture Recognition, 1998.^[1] Cootes, Edwards and Taylor further described the approach as a general method in computer vision at the European Conference on Computer Vision in the same year.^[2][3] The approach is widely used for matching and tracking faces and for medical image interpretation.

The algorithm uses the difference between the current estimate of appearance and the target image to drive an optimization process. By taking advantage of the least squares techniques, it can match to new images very swiftly.

It is related to the active shape model (ASM). One disadvantage of ASM is that it only uses shape constraints (together with some information about the image structure near the landmarks), and does not take advantage of all the available information – the texture across the target object. This can be modelled using an AAM.

이상 위키피디아 설명 

아직 어떤 개념인지 모르겠다. 여기에 설명을 쓸 수 있는날이 얼른 왔으면..

프로그램이나 문서에 덧붙여진 기술적, 설명적 주해. 원시 프로그램(source program)의 명령문으로 삽입 또는 추가되는 기술이나 참조, 설명문이며, 해석 후의 목적 프로그램(object program) 속에서는 어떠한 효과도 갖지 않는 것. 즉, 프로그램 속에 기술된 기호로 컴퓨터에서는 실행되지 않는 것. 프로그램이 특정한 스텝으로 설명을 붙이기도 하며, 메모를 위하여 쓰여진다. 같은 의미로는 comment, remark, note 등이 있다. 또한 표명(assertion)과 같은 뜻으로 사용되며 프로그램 속에서 나타나는 변수 사이의 관계를 표현한 것이다. 주석으로서 프로그램 속에 기술되어 있는 경우가 많다.