PE Notes · 확률통계
불편추정량과 편향
기댓값이 모수와 같은 불편추정량과 기댓값에서 모수를 뺀 편향을 가르고, 표본분산의 n−1, MSE=분산+편향², 편향-분산 트레이드오프를 정리합니다.
과녁 한가운데가 모수입니다. 화살이 가운데를 중심으로 고르게 흩어지면 추정량은 공평하고, 한쪽으로만 몰리면 치우칩니다. 은 기댓값이 모수와 같습니다. E(θ̂)=θ 입니다. 은 E(θ̂)−θ 입니다. 공정성 이야기의 편향과 칸이 다릅니다.
무엇이 불편한가
표본평균 x̄는 모평균의 불편량입니다. 표본비율 p̂도 모비율을 그대로 따라갑니다. 모분산은 한 칸이 더 있습니다. 편차를 모평균 μ로 재면 n으로 나눠도 불편하지만, μ 대신 x̄를 쓰면 n으로 나눈 값은 (n−1)/n·σ²로 작아집니다. 그래서 s²=Σ(xᵢ−x̄)²/(n−1) 입니다. x̄를 만드는 데 하나를 썼기 때문입니다.
| 모수 | 불편량 | 한 줄 |
|---|---|---|
| 모평균 μ | x̄ | E(x̄)=μ |
| 모분산 σ² | s² (n−1) | n으로 나누면 작아진다 |
| 모비율 p | p̂ | E(p̂)=p |
불편과 일치는 다릅니다. 불편은 어떤 n에서도 기댓값이 모수입니다. 일치는 n→∞일 때 추정량이 모수로 붙습니다. 불편하면서 일치할 수도, 유한 n에서는 치우쳤다가 커지며 붙을 수도 있습니다.
MSE를 가르다
점과 참값의 제곱 거리 기댓값이 입니다. 분해하면 Var(θ̂)+[Bias(θ̂)]² 입니다. 불편이면 편향 항이 0이라 MSE는 분산과 같습니다. 약간의 치우침이 분산을 크게 깎으면 총 MSE는 내려갈 수 있습니다. Ridge가 그 거래입니다.
이 균형이 입니다. 너무 단순한 모형은 못 맞춰 이고 편향이 큽니다. 너무 복잡한 모형은 표본마다 흔들려 이고 분산이 큽니다. 는 분산을 누르고 편향을 조금 삽니다.
| 자리 | 편향 | 분산 |
|---|---|---|
| 과소적합 | 높음 | 낮음 |
| 균형 | 가운데 | 가운데 |
| 과적합 | 낮음 | 높음 |
학습 데이터가 모집단을 대표하지 못하면 이 추정량을 처음부터 옆으로 밉니다. 통계적 편향은 E(θ̂)−θ이고, 공정성 편향은 집단 간 출력 기울어짐입니다. 답안은 E(θ̂)=θ, n−1 이유, MSE 분해, 트레이드오프 한 표를 닫습니다.