PE Notes · 확률통계
평균제곱오차(MSE)
평균제곱오차(MSE): 예측값(또는 추정값)과 실제값 차이(오차)를 제곱해 평균한 값
평균제곱오차(MSE): 예측값(또는 추정값)과 실제값 차이(오차)를 제곱해 평균한 값. MSE = (1/n) × Σ(yᵢ − ŷᵢ)².
구조와 칸
항상 0 이상, 0이면 완벽한 예측. 큰 오차에 큰 벌점: 제곱으로 큰 오차가 크게 반영 → 에 민감. 단위가 제곱: 원래 단위(원·kg)의 제곱 → 해석은 사용. 미분 가능: 기울기 = −(2/n)Σ(yᵢ − ŷᵢ) — 오차에 비례하는 기울기.
| 지표 | 공식 | 특징 |
|---|---|---|
| MSE | (1/n)Σ(y − ŷ)² | 큰 오차 강조, 미분 쉬움, 단위 제곱 |
| RMSE | √MSE | 원래 단위, 큰 오차 강조 |
| (평균절대오차) | (1/n)Σ\ | y − ŷ\ |
| (평균절대백분율오차) | (100/n)Σ\ | (y − ŷ)/y\ |
| R²() | 1 − SSE/SST = 1 − MSE/Var(y) | 설명력 비율, 0~1(음수 가능) |
| 작은 오차는 제곱, 큰 오차는 절댓값 | MSE와 MAE의 절충 — 이상치 강건 | |
| MSLE | (1/n)Σ(ln(1 + y) − ln(1 + ŷ))² | 상대 오차·과소 예측에 더 큰 벌점 |
추정량: MSE = 분산 + 편향². 예측 모델(기대 예측 오차): E[(y − ŷ)²] = 편향² + 분산 + 줄일 수 없는 오차 σ². 의미: 단순 모델(편향↑)과 복잡 모델(분산↑) 사이 최적점에서 MSE 최소. MSE 최소화 → 평균 예측: 상수 하나로 예측할 때 MSE를 최소화하는 값은 평균, MAE를 최소화하는 값은 중앙값.
MSE vs RMSE vs MAE
| 기준 | MSE | RMSE | MAE |
|---|---|---|---|
| 공식 | 평균(오차²) | √MSE | 평균(\ |
| 단위 | 제곱 | 원래 단위 | 원래 단위 |
| 이상치 | 매우 민감 | 민감 | 강건 |
| 최적 상수 예측 | 평균 | 평균 | 중앙값 |
| 미분 | 매끄러움 | 매끄러움(0 제외) | 0에서 불가 |
| 사용 | 손실 함수·이론 분석 | 보고·해석 | 이상치 많은 데이터 |
| 기준 | MSE | 교차 엔트로피 |
|---|---|---|
| 문제 | 회귀 | 분류 |
| 확률 가정 | 오차 정규분포 | 베르누이·범주 분포 |
| 시그모이드·소프트맥스와 결합 | 기울기 소실 문제 | 기울기 안정적 |
수요·매출 예측: RMSE로 모델 비교(원 단위 해석). 딥러닝 회귀: 가격·온도 예측 손실 함수, 이미지 복원·오토인코더 재구성 오차 → 재구성 오차가 크면 이상 탐지. 신호 처리: 잡음 제거·압축 품질(PSNR = 10 log₁₀(MAX²/MSE)).
답안은 평균제곱오차(MSE)의 정의, 칸, 비교 축을 한 장에 닫습니다.
기술사 답안 포인트
관련 용어
관련 토픽
확률통계
불편추정량(Unbiased Estimator)/편향(Bias)
추정량(Estimator): 표본으로 모수 θ를 추정하는 규칙(함수) θ̂ — 예: 표본평균 x̄, 표본분산 s²
확률통계
선형회귀 vs 로지스틱회귀(실습 포함)
선형회귀(Linear Regression): 독립변수와 연속형 종속변수 사이의 선형 관계를 추정하는 모형 — ŷ = β₀ + β₁x₁ + … + βₖxₖ, 최소제곱법(OLS)으로 오차 제곱합 최소화
AI
경사하강법 — 오버슈팅과 지역최소점
손실의 기울기 반대 방향으로 가중치를 갱신하는 경사하강법의 배치 유형, 오버슈팅·지역최소점·안장점, 그리고 학습률·모멘텀·적응형 옵티마이저로 막는 법을 정리합니다.