PE Notes · 확률통계
회귀분석(Regression Analysis)
회귀분석(Regression Analysis): 하나 이상의 독립변수(설명변수, X)가 종속변수(반응변수, Y)에 미치는 영향을 함수식으로 추정하고, 이를 이용해 설명·예측하는 통계 기법
회귀분석(Regression Analysis): 하나 이상의 독립변수(설명변수, X)가 종속변수(반응변수, Y)에 미치는 영향을 함수식으로 추정하고, 이를 이용해 설명·예측하는 통계 기법. 기본형(다중 선형회귀): Y = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ + ε, (OLS)으로 추정.
구조와 칸
설명 + 예측 두 목적 모두 사용. 계수 해석: 다른 변수를 고정했을 때 Xⱼ 1단위 증가에 따른 Y의 평균 변화(β̂ⱼ). 가정 기반 추론: 가정이 맞아야 표준오차·p-값·신뢰구간이 유효. 상관 ≠ 인과: 관측 자료 회귀계수는 인과 효과가 아닐 수 있음(누락 변수 편향, ).
| 종류 | 형태 | 용도 |
|---|---|---|
| 단순 선형회귀 | Y = β₀ + β₁X | 독립변수 1개 |
| 다중 선형회귀 | Y = β₀ + Σβⱼ Xⱼ | 독립변수 여러 개 |
| 다항회귀 | Y = β₀ + β₁X + β₂X² | 곡선 관계 |
| 로지스틱회귀 | logit(p) = Σβⱼ Xⱼ | 이진 종속변수 |
| 포아송회귀 | log(λ) = Σβⱼ Xⱼ | 횟수 종속변수 |
| 릿지·라쏘·엘라스틱넷 | OLS + L2/L1 벌점 | 다중공선성·변수 선택 |
| 분위수 회귀 | 조건부 중앙값·분위수 | 이상치·이분산 강건 |
| 비선형·트리 회귀 | 회귀 나무·랜덤 포레스트·GBM | 복잡한 관계 |
R² = 1 − SSE/SST: 설명된 변동 비율 — 변수를 추가하면 항상 증가(과적합 위험). = 1 − (1 − R²)(n − 1)/(n − k − 1): 변수 수에 벌점. F = (R²/k) ÷ ((1 − R²)/(n − k − 1)): 모형 전체 유의성. 계수 t = β̂ ÷ SE(β̂), df = n − k − 1.
단순 vs 다중 회귀
| 가정 | 내용 | 진단 | 위반 시 대처 |
|---|---|---|---|
| 선형성(Linearity) | X와 Y의 관계가 선형 | 잔차 대 적합값 그림 | 변환·다항항·비선형 모형 |
| 독립성(Independence) | 오차끼리 독립 | 통계량(약 2면 독립) | 시계열 모형·군집 표준오차 |
| 정규성(Normality) | 오차가 정규분포 | Q-Q 그림·샤피로-윌크 | 변환·대표본(CLT)·부트스트랩 |
| 등분산성(Equal variance) | 오차 분산 일정 | 잔차 그림·Breusch-Pagan | WLS·강건 표준오차 |
| 다중공선성 없음 | 독립변수 간 강한 상관 없음 | VIF | 변수 제거·릿지·PCA |
| 영향점 점검 | 소수 관측치가 결과 좌우 안 함 | 레버리지· | 원인 확인·강건 회귀 |
| 기준 | 단순 회귀 | 다중 회귀 |
|---|---|---|
| 독립변수 | 1개 | 2개 이상 |
| 해석 | 총 효과(다른 변수 영향 섞임) | 다른 변수 통제 후 효과 |
| 문제 | 누락 변수 편향 | 다중공선성·과적합 |
| 지표 | R² | 수정 R²· |
마케팅 믹스 모형: 채널별 광고 효과 추정. 부동산 가격 모형: 면적·위치·연식 등으로 가격 추정(헤도닉 회귀). IT 용량 계획: 사용자 수·트랜잭션과 CPU 사용률의 회귀로 자원 예측.
답안은 회귀분석(Regression Analysis)의 정의, 칸, 비교 축을 한 장에 닫습니다.
기술사 답안 포인트
관련 용어
관련 토픽
확률통계
선형회귀 vs 로지스틱회귀(실습 포함)
선형회귀(Linear Regression): 독립변수와 연속형 종속변수 사이의 선형 관계를 추정하는 모형 — ŷ = β₀ + β₁x₁ + … + βₖxₖ, 최소제곱법(OLS)으로 오차 제곱합 최소화
확률통계
등분산성(Homoscedasticity)/다중공선성(Multicollinearity)
등분산성(Homoscedasticity): 회귀분석에서 독립변수 값과 관계없이 오차(잔차)의 분산이 일정하다는 가정 — 반대는 이분산성(Heteroscedasticity)
확률통계
평균제곱오차(MSE)
평균제곱오차(MSE): 예측값(또는 추정값)과 실제값 차이(오차)를 제곱해 평균한 값