PE Notes · 확률통계
이상치(Outlier, 3가지 유형: 전역/맥락/군집)
이상치(Outlier): 데이터의 일반적인 패턴·분포에서 크게 벗어난 관측값 — 측정·입력 오류일 수도 있고, 사기·장애·침입 같은 중요한 사건일 수도 있음
이상치(Outlier): 데이터의 일반적인 패턴·분포에서 크게 벗어난 관측값 — 측정·입력 오류일 수도 있고, 사기·장애·침입 같은 중요한 사건일 수도 있음. 이상 탐지(Anomaly Detection): 이상치를 찾아내는 기법 — 통계·거리·밀도·모델 기반.
구조와 칸
두 얼굴: 제거해야 할 잡음(오류) vs 찾아야 할 신호(사건) — 도메인 판단 필요 상대성: 기준(전체·맥락·패턴)에 따라 같은 값도 정상·이상이 달라짐. 불균형: 이상치는 극소수 → 지도 학습용 정답 데이터 부족, 비지도·준지도 기법 많이 사용. 고차원 문제: 차원이 높을수록 거리 기반 판단이 어려움(차원의 저주).
| 유형 | 판단 기준 | 예 | 주요 탐지 기법 |
|---|---|---|---|
| 전역(점) 이상치 | 전체 분포 대비 극단값 | 평소 5만 원 결제하는 고객의 1,000만 원 결제, 체온 45℃ | ··· |
| 맥락(조건부) 이상치 | 맥락 속성(시간·위치) + 행동 속성(값) | 한겨울 기온 30℃(여름엔 정상), 새벽 3시 대량 로그인 | 맥락별 모델·계절 분해(STL)·시계열 예측 잔차 |
| 군집(집단) 이상치 | 관측치 묶음의 순서·조합 패턴 | 심전도 파형의 평탄 구간, 짧은 시간 연속 소액 결제(카드 테스트), 포트 스캔 이벤트 묶음 | 시퀀스 모델(LSTM·HMM)·패턴 마이닝·그래프 분석 |
① IQR 방법. 데이터 Q1 = 20, Q3 = 40 → IQR = 20. 하한 = 20 − 1.5 × 20 = −10, 상한 = 40 + 1.5 × 20 = 70 는 이상치, 65는 정상. 극단 이상치 기준(3 × IQR): 하한 −40, 상한 100.
3가지 이상치 유형
| 분류 | 기법 | 내용 |
|---|---|---|
| 통계 기반 | Z-점수 | \ |
| IQR(사분위 범위) | Q1 − 1.5 × IQR 미만 또는 Q3 + 1.5 × IQR 초과(상자 그림) — 정규 가정 불필요 | |
| 수정 Z-점수(MAD) | 중앙값·중앙 절대 편차 사용 → 이상치에 강건, 0.6745 × \ | |
| Grubbs·Dixon 검정 | 으로 이상치 판정 | |
| 거리 기반 | k-NN 거리 | k번째 이웃까지 거리가 큰 점 |
| 밀도 기반 | LOF(Local Outlier Factor), | 주변보다 밀도가 낮은 점, 군집에 속하지 않는 잡음점 |
| 모델 기반 | Isolation Forest | 무작위 분할로 적은 분할 횟수에 고립되는 점 |
| One-Class SVM | 정상 데이터 경계 학습 | |
| 재구성 오차가 큰 데이터 | ||
| 시계열 | 예측 잔차·STL 분해·변화점 탐지 | 맥락·군집 이상치 탐지 |
| 방법 | 내용 | 적용 |
|---|---|---|
| 원인 확인 | 입력·측정 오류인지 실제 사건인지 조사 | 항상 먼저 |
| 제거(Trimming) | 오류로 확인된 값 삭제 | 데이터 오류 |
| 대체(Imputation) | 중앙값·보간·예측값으로 대체 | 결측처럼 처리 |
| (Winsorizing) | 상·하위 극단값을 특정 백분위 값으로 치환 | 영향 완화 |
| 변환 | 로그 변환 등으로 꼬리 축소 | 치우친 분포 |
| 강건 기법 사용 | 중앙값·후버 손실·강건 회귀 | 이상치 존재 가정 |
| 별도 분석 | 사기·장애 사례로 경보·조사 | 이상이 곧 목적일 때 |
금융 사기 탐지(FDS): 전역(고액)·맥락(해외·심야)·군집(연속 소액 테스트 결제) 이상 동시 분석. IT 운영(AIOps): 지표·로그의 맥락 이상치(시간대 기준) 탐지로 장애 예측. 보안: 포트 스캔·무차별 대입 같은 군집 이상(이벤트 순서 패턴), UEBA.
답안은 이상치(Outlier, 3가지 유형: 전역/맥락/군집)의 정의, 칸, 비교 축을 한 장에 닫습니다.