PE Notes · 확률통계
혼동행렬 계산과 해석
실제와 예측을 네 칸에 놓고 정확도·정밀도·재현율·F1을 숫자로 계산하고, 임계값과 도메인 비용으로 어느 칸을 줄일지 고릅니다.
맞힌 비율 한 줄은, 누구를 놓쳤는지를 가립니다. 은 실제와 예측을 교차해 네 칸으로 펼칩니다. 지표 이름의 사전은 별 노트에 두고, 여기서는 칸을 세고 숫자를 읽습니다. 불균형에서 정확도만 보면 “전부 음성”이 점수를 가져갑니다.
네 칸을 수로 바꾸기
행을 실제, 열을 예측으로 둡니다. TP는 양성을 맞힌 수, TN은 음성을 맞힌 수, FP는 없는 것을 있다고 한 오탐, FN은 있는 것을 놓친 미탐입니다. 가설검정에 얹으면 FP는 1종, FN은 2종에 가깝습니다. 재현율은 검정력(1−β)과 같은 방향입니다.
양성 100, 음성 300인 검사에서 TP=80, FN=20, FP=30, TN=270이면 전체 400입니다. 정확도는 (80+270)/400=87.5%입니다. 는 80/(80+30)≈72.7%, 은 80/100=80%입니다. 은 2·0.727·0.80/(0.727+0.80)≈76.1%입니다. 특이도는 270/(270+30)=90%입니다.
| 지표 | 이 숫자 | 읽는 법 |
|---|---|---|
| 정확도 | 87.5% | 전체 맞힘. 음성 300이 버팀 |
| 정밀도 | 72.7% | 양성이라 한 것 중 진짜 |
| 재현율 | 80% | 실제 양성 중 찾아냄 |
| F1 | 76.1% | 둘의 조화평균 |
정확도만 보면 괜찮아 보입니다. 양성이 드물수록 그 착시는 커집니다. 칸을 펼치지 않은 채 퍼센트 하나를 쓰면 운영 결정을 그르칩니다.
임계값과 비용
점수가 있으면 을 올립니다. 확실한 것만 양성이 되어 정밀도는 오르고 재현율은 내립니다. 내리면 반대입니다. 곡선과 AUC의 비교는 지표 개요 노트로 넘깁니다. 여기서 고르는 손은 비용입니다.
| 자리 | 줄일 칸 | 이유 |
|---|---|---|
| 검진·침입 | FN | 놓침이 사고 |
| 스팸·고발 | FP | 오탐이 민원 |
| 불균형 | F1을 같이 | 정확도 착시 |
답안은 네 칸 채우기, 네 식 대입, 정확도 착시, 임계값 방향, 비용으로 칸을 고르는 표를 한 장에 닫습니다.