PE Notes · 확률통계
불편추정량(Unbiased Estimator)/편향(Bias)
추정량(Estimator): 표본으로 모수 θ를 추정하는 규칙(함수) θ̂ — 예: 표본평균 x̄, 표본분산 s²
추정량(Estimator): 표본으로 모수 θ를 추정하는 규칙(함수) θ̂ — 예: 표본평균 x̄, 표본분산 s². 편향(Bias): 추정량의 기댓값과 모수의 차이 — Bias(θ̂) = E(θ̂) − θ.
구조와 칸
불편성은 "평균적으로 맞음": 개별 추정값은 모수와 다를 수 있음. 불편 ≠ 최선: 불편추정량이라도 분산이 크면 실제 오차가 큼 → MSE가 더 작은 편향 추정량이 나을 수 있음(예: 릿지 회귀, ). 점근적 불편성: n → ∞일 때 편향 (예: n으로 나눈 분산). 과 구분: 일치추정량은 n이 커지면 모수에 수렴 — 불편이면서 일치하지 않을 수도, 편향이면서 일치할 수도 있음.
| 모수 | 불편추정량 | 비고 |
|---|---|---|
| 모평균 μ | 표본평균 x̄ = Σxᵢ ÷ n | E(x̄) = μ |
| 모비율 p | 표본비율 p̂ = X ÷ n | E(p̂) = p |
| 모분산 σ² | s² = Σ(xᵢ − x̄)² ÷ (n − 1) | n으로 나누면 편향 |
| 회귀 계수 β | OLS 추정량(가우스-마르코프 가정하) | : 선형 불편추정량 중 분산 최소 |
주의: s(표본표준편차)는 σ의 불편추정량이 아님(제곱근은 비선형) — 약간 과소추정. 편차를 모평균 μ가 아닌 표본평균 x̄로 계산 → x̄는 표본에 가장 가까운 값이라 편차 제곱합이 작아짐. E[Σ(xᵢ − x̄)²] = (n − 1)σ² → n으로 나누면 E = (n − 1)/n × σ²(과소추정), n − 1로 나누면 E = σ². 직관: x̄를 구하는 데 자유도 1개를 사용 → 남은 자유도 n − 1.
불편추정량 vs 편향 추정량
| 구분 | 편향(Bias) | 분산(Variance) |
|---|---|---|
| 의미 | 평균적으로 모수에서 벗어난 정도(정확도) | 표본마다 추정값이 흩어진 정도(정밀도) |
| 과녁 비유 | 탄착군 중심이 과녁 중심에서 벗어남 | 탄착군이 넓게 퍼짐 |
| 머신러닝 | 과소적합(모델이 너무 단순) | 과적합(모델이 너무 복잡) |
| 줄이는 방법 | 모델 복잡도 증가·특징 추가 | 데이터 증가·정규화·앙상블(배깅) |
| 편향 | 내용 |
|---|---|
| 추정량 편향 | 추정 공식 자체의 편향(n으로 나눈 분산) |
| 표본이 모집단을 대표하지 못함 | |
| 생존자 편향 | 살아남은 대상만 관측 |
| 측정 편향 | 측정 도구·방법의 체계적 오차 |
| 무응답 편향 | 응답자와 비응답자의 특성 차이 |
| AI 데이터 편향 | 학습 데이터 불균형으로 특정 집단 불이익 |
통계 소프트웨어: 표본분산 기본값이 n − 1(엑셀 VAR.S·pandas var), 모분산 함수는 n(VAR.P·NumPy var 기본값 ddof = 0) — 함수 선택 주의. 여론조사: 가중치로 표본 선택 편향 보정. 머신러닝: 릿지·라쏘(편향을 조금 늘려 분산 크게 감소), 교차 검증으로 편향·분산 균형 확인.
답안은 불편추정량(Unbiased Estimator)/편향(Bias)의 정의, 칸, 비교 축을 한 장에 닫습니다.