FAR(부재율)과 FRR(거부율), False Positive, False Negative 정리

생체 인식 시스템에서 보안과 사용자 편의성을 평가할 때 사용하는 두 가지 지표가 FAR(부재율)과 FRR(거부율)

 

FAR(부재율, False Acceptance Rate)

- 허용되지 않은 사용자가 잘못하여 허용되는 비율을 의미

- 보안 측면에서 허용되지 않은 접근을 방지하는 것이 중요하기 때문에 FAR는 낮을수록 좋음

- 회사의 지문 인식 출입 시스템에서 등록되지 않은 외부인의 지문이 허용되어 사무실에 출입하게 되는 상황

- 쇼핑몰에서 얼굴 인식 결제 시스템이 유사한 얼굴을 가진 사람의 결제를 승인하여 잘못된 사람이 결제하는 상황

 

FRR(거부율, False Rejection Rate)

- 허용된 사용자가 잘못하여 거부되는 비율을 의미

- 사용자 편의성 측면에서 허용된 사용자의 접근을 원활하게 하는 것이 중요하기 때문에 FRR은 낮을수록 좋음

- 등록된 직원이 손에 상처가 있어 지문 인식이 실패하여 출입이 거부되는 상황.

- 얼굴 인식 결제 시스템이 빛의 반사 때문에 등록된 사용자의 얼굴을 인식하지 못해 결제가 거부되는 상황.

 

그림(1) : FRR, FRR 그래프 (출처 : CURSOR INSIGHT)

FP (False Positive)
-  실제로는 부정적인 사례를 긍정적으로 잘못 분류하는 경우
ex) 스팸 필터가 정상 이메일을 스팸으로 분류하는 경우

 

FN (False Negative)
- 실제로는 긍정적인 사례를 부정적으로 잘못 분류하는 경우
ex) 암 검사에서 암이 있는 환자를 암이 없는 것으로 잘못 진단하는 경우

 

TP (True Positive)

- 실제 양성인 것을 양성으로 정확히 예측한 경우.
TN (True Negative)

- 실제 음성인 것을 음성으로 정확히 예측한 경우.

 

혼돈행렬

실제 \ 예측	양성(Positive)	음성(Negative)
양성 (Positive)	TP (True Positive)	FN (False Negative)
음성 (Negative)	FP (False Positive)	TN (True Negative)

 

지표정의계산식

민감도 (TPR)	실제 양성 중 양성으로 예측된 비율	TP / TP + FN​
특이도 (TNR)	실제 음성 중 음성으로 예측된 비율	TN / TN + FP
양성 예측도 (PPV)	양성 예측 중 실제 양성인 비율	TP / TP + FP
음성 예측도 (NPV)	음성 예측 중 실제 음성인 비율	TN / TN + FN

 

 

결론

사실 보안기사를 공부하면서 가장 많이 공부했었던 것 같고, 표를 그리고 가로 세로를 이용하여 예측도를 구했었다.

또 이걸 공부할 땐 ROC 곡선이랑 AUC도 같이 공부 해야하는데 ROC와 AUC는 따로 포스팅을 해야겠다.

false positive와 false negative를 외울 땐 negative는 큰일이 일어난 상황이라고 생각하며 외웠다.

 

 

참조

https://www.cursorinsight.com/post/943/what-you-need-to-know-about-frr-and-far