PE Notes · 확률통계
평균제곱오차
잔차 제곱의 평균인 MSE를 RMSE·MAE·R²와 가르고, 이상치 민감·미분 학습·편향-분산 분해로 언제 쓸지를 정리합니다.
맞힌 개수가 아니라, 틀린 거리의 제곱이 학습의 나침반입니다. (평균제곱오차)는 실제 y와 예측 ŷ의 잔차를 제곱해 평균한 값입니다. 회귀의 대표 이고, 큰 빗나감에 더 세게 벌줍니다.
MSE = (1/n) Σ (yᵢ − ŷᵢ)²
지표를 가르는 손
제곱은 미분을 매끄럽게 해 과 잘 맞습니다. 같은 이유로 이상치 하나에 전체가 흔들립니다. 는 제곱근을 취해 원래 단위로 돌아옵니다. 는 절댓값 평균이라 극단에 덜 흔들리고, 미분은 0 근처에서 거칠습니다. MAPE는 상대 비율이라 분모가 작으면 값이 부풉니다. 는 오차 크기가 아니라 설명 비율입니다.
| 지표 | 식 | 이상치 | 단위 |
|---|---|---|---|
| MSE | Σ(y−ŷ)² / n | 민감 | 제곱 |
| RMSE | √MSE | 민감 | 원래 |
| MAE | Σ|y−ŷ| / n | 덜 민감 | 원래 |
| R² | 1 − SSR/SST | — | 비율 |
극단이 많고 그 값을 과대 처벌하고 싶지 않으면 MAE입니다. 큰 빗나감이 사고인 예측은 MSE입니다. 창구에 원래 단위로 말해야 하면 RMSE입니다. 미분으로 계수를 밀 때도 MSE가 기본입니다.
분해와 학습
추정량에서 MSE는 분산과 편향 제곱의 합입니다. MSE(θ̂) = Var(θ̂) + [Bias(θ̂)]². 편향이 0인 불편추정량은 MSE가 곧 분산입니다. Ridge처럼 편향을 조금 허용하면 분산이 줄어 총 MSE가 내려갈 수 있습니다. 그 맞교환이 입니다.
기울기는 ∂L/∂β = (−2/n) Σ (yᵢ − ŷᵢ) xᵢ입니다. 계수는 학습률만큼 그 반대로 움직입니다. 훈련 MSE만 작고 검증 MSE가 벌어지면 입니다. 교차검증 MSE가 한 폴드 숫자보다 믿을 만합니다. AIC·BIC는 적합 위에 복잡도 벌점을 얹습니다.
| 상황 | 고르는 손실 |
|---|---|
| 이상치가 많음 | MAE |
| 큰 오차가 치명 | MSE |
| 미분 최적화 | MSE |
| 단위로 보고 | RMSE |
답안은 정의 한 줄, 다섯 지표 표, MSE 대 MAE, 분해식, 학습·검증 갭을 한 장에 닫습니다.