PE Notes · 확률통계
이상치
전역·맥락·군집 세 이상치를 가르고, IQR·Z-score·LOF·Isolation Forest·밀도 군집으로 찾는 법과 제거·대체·변환·유지·캡핑 처방을 정리합니다.
나이 150세, 한여름 −20도, 심전도가 몇 박자만 어긋난 구간. 세 줄은 모두 튀지만, 튀는 자리가 다릅니다. 는 나머지와 현저히 다른 관측입니다. 측정 실수일 수도, 진짜 사건일 수도 있습니다. 먼저 유형을 가르고, 그다음에 자를지 살릴지를 고릅니다.
전역, 맥락, 군집
는 전체 분포에서 멀리 떨어진 한 점입니다. 키 데이터에 3m가 끼면 전역입니다. 는 값 자체는 평범해도, 시간·장소·계절 같은 맥락에서만 이상합니다. 7월의 −20도가 그 칸입니다. 는 점 하나씩은 정상인데, 연속된 집합이 패턴을 깨뜨립니다. 심전도의 짧은 부정맥 구간이 이쪽입니다.
| 유형 | 보는 칸 | 예 |
|---|---|---|
| 전역 | 전체 분포 | 나이 150세 |
| 맥락 | 시간·공간 조건 | 한여름 −20℃ |
| 군집 | 연속·집합 패턴 | 심전도 연속 이상 |
이상치와 노이즈는 다릅니다. 사기 거래는 남기고 탐지할 대상이고, 센서 오작동은 지울 잡음입니다. 같은 극단값이라도 도메인이 처방을 바꿉니다.
찾는 법, 다루는 법
전역은 상자 그림이 빠르습니다. Q1·Q3 사이가 이고, Q1−1.5·IQR 아래와 Q3+1.5·IQR 위를 울타리로 둡니다. Z-score는 |Z|>2~3을 의심합니다. 정규 가정이 강하면 잘 맞고, 꼬리가 두꺼우면 과하게 잡습니다. 울타리도 같은 감각입니다.
맥락·군집은 이웃 밀도를 봅니다. LOF는 주변보다 혼자 성긴 점을 높입니다. 는 랜덤 분할로 빨리 떨어지는 점을 이상에 가깝다고 봅니다. 은 밀도 군집 밖의 노이즈 점을 남깁니다. 는 재구성 오차가 큰 입력을 의심합니다.
| 처방 | 하는 일 | 값 |
|---|---|---|
| 제거 | 행을 뺀다 | 정보 손실 |
| 대체 | 평균·중앙값으로 채운다 | 분포가 눌린다 |
| 변환 | 로그·제곱근 | 해석이 멀어진다 |
| 유지 | 실제 사건으로 남긴다 | 탐지 대상 |
| 캡핑 | 울타리에 잘라 붙인다 | Winsorizing |
학습에 극단이 섞이면 기울기가 한쪽으로 끌리고 추정량이 흔들립니다. 는 무조건 삭제가 아닙니다. 사기·고장·침입은 이상치가 신호입니다. 답안은 세 유형, IQR 울타리, LOF·Isolation Forest, 처리 다섯을 한 장에 닫습니다.