PE Notes · 확률통계
회귀분석
종속과 독립의 함수 관계를 추정하는 회귀를 단순·다중·로지스틱·정규화로 가르고, OLS 가정과 R²·AIC로 모형을 고르는 손을 정리합니다.
상관이 방향만 보여 주면, 회귀는 기울기를 숫자로 남깁니다. 회귀분석은 종속 Y를 하나 이상의 독립 X로 읽는 함수를 추정합니다. 예측과 부분 효과 해석이 목적입니다. 지도 학습의 뼈대이고, 선형식에서 깊은 망까지 같은 칸이 이어집니다.
유형과 절차
단순 선형은 Y = β₀ + β₁X + ε입니다. 독립이 여럿이면 다중, 제곱항을 넣으면 다항, 종속이 이진이면 로지스틱입니다. 계수 제곱을 벌주면 (L2), 절댓값을 벌주면 (L1), 둘을 섞으면 입니다.
절차는 탐색, 가정 확인, 변수 선택, 적합, 잔차 재확인, 지표 평가, 예측입니다. 적합은 또는 최대우도입니다. 정규방정식은 β = (XᵀX)⁻¹ Xᵀy입니다. 행이 많고 열이 커지면 역행렬보다 이 싸집니다.
| 유형 | 식의 뼈대 | 자리 |
|---|---|---|
| 단순 선형 | β₀+β₁X | 연속 한 축 |
| 다중 선형 | 여러 X | 부분 효과 |
| 로지스틱 | logit(p) | 이진 Y |
| Ridge / Lasso | OLS+벌점 | 공선·선택 |
가정과 평가
OLS의 손은 선형성, 외생성(오차와 X가 독립), 등분산, 오차 무자기상관, 비다중공선성입니다. 등분산과 공선이 자주 깨집니다. 잔차 팬이 벌어지면 분산이 수준에 묶인 것이고, VIF가 크면 축이 겹칩니다.
는 1−SSR/SST, 설명 비율입니다. 변수만 넣어도 올라가므로 수정 R²를 같이 봅니다. 는 −2 log L + 2k, BIC는 k ln n을 붙입니다. 작을수록 낫고 BIC가 복잡 모형에 더 셉니다. RMSE는 원래 단위의 빗나감입니다.
| 정규화 | 벌점 | 효과 |
|---|---|---|
| Ridge | λΣβ² | 계수 축소, 공선 완화 |
| Lasso | λΣ|β| | 일부를 0, 선택 |
| ElasticNet | L1+L2 | 묶음 선택 |
는 을 줄이려 편향을 조금 삽니다. 상관은 같이 움직임이고, 회귀 계수만으로 인과를 닫지 않습니다. 답안은 유형, 다섯 가정, R²·AIC, 세 벌점을 한 장에 닫습니다.