PE Notes · 확률통계
선형회귀 vs 로지스틱회귀(실습 포함)
선형회귀(Linear Regression): 독립변수와 연속형 종속변수 사이의 선형 관계를 추정하는 모형 — ŷ = β₀ + β₁x₁ + … + βₖxₖ, 최소제곱법(OLS)으로 오차 제곱합 최소화
선형회귀(Linear Regression): 독립변수와 연속형 종속변수 사이의 선형 관계를 추정하는 모형 — ŷ = β₀ + β₁x₁ + … + βₖxₖ, (OLS)으로 오차 제곱합 최소화. 로지스틱회귀(Logistic Regression): 범주형(주로 이진) 종속변수의 발생 확률을 추정하는 모형 — 선형 결합을 (로지스틱) 함수로 0~1 확률로 변환, 최대우도법(MLE)으로 추정.
구조와 칸
| 기준 | 선형회귀 | 로지스틱회귀 |
|---|---|---|
| 목적 | 연속값 예측(회귀) | 확률 예측·분류 |
| 모형 | ŷ = β₀ + βx | p = 1/(1 + e^−(β₀ + βx)) |
| 연결 함수 | 항등 | 로짓 |
| 추정 | OLS(닫힌 해) | MLE(반복 최적화) |
| 손실 | MSE | |
| 계수 의미 | y 변화량 | 로그 오즈 변화량( e^β) |
| 평가 | R²·RMSE | 정확도·F1·AUC |
| 이상치 영향 | 큼 | 상대적으로 작음(출력이 0~1로 제한) |
단순 회귀 계수: β₁ = Sxy ÷ Sxx = Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)², β₀ = ȳ − β₁x̄. 다중 회귀: β = (XᵀX)⁻¹Xᵀy. R² = 1 − SSE ÷ SST(설명된 변동 비율). 오즈(Odds) = p ÷ (1 − p), 로그 오즈 = 선형 결합.
선형회귀 vs 로지스틱회귀
| 기준 | 이진 | 다항(소프트맥스) |
|---|---|---|
| 클래스 | 2개 | 3개 이상 |
| 출력 함수 | 시그모이드 | 소프트맥스 |
| 예 | 이탈 여부 | 고객 등급 분류 |
| 구분 | 선형회귀 | 로지스틱회귀 |
|---|---|---|
| 종속변수 | 연속형 | 범주형(이진·다항) |
| 출력 | 실수 값(−∞ ~ ∞) | 확률(0~1) → 임계값(보통 0.5)으로 분류 |
| 함수 | 직선(초평면) | S자 시그모이드 |
| 추정 방법 | 최소제곱법(OLS) — 닫힌 해 | 최대우도법(MLE) — 반복 최적화(뉴턴·경사하강) |
| 손실 함수 | MSE(평균제곱오차) | 로그 손실(이진 교차 엔트로피) |
| 계수 해석 | x가 1 증가하면 y가 β만큼 증가 | x가 1 증가하면 오즈가 e^β배 |
| 평가 지표 | R²·RMSE·MAE | 정확도·정밀도·재현율·F1·AUC |
| 가정 | 선형성·독립성·등분산성·정규성 | 로그 오즈의 선형성·독립성, 없음 |
선형회귀: 매출·수요 예측, 부동산 가격, 광고비 대비 매출, 서버 자원 사용량 추세. 로지스틱회귀: 고객 이탈 예측, 신용 부도 확률(신용평가 스코어카드), 스팸 분류, 질병 발생 위험, 마케팅 반응 예측. AI 기준 모델: 딥러닝 도입 전 해석 가능한 기준선, 신경망의 출력층(시그모이드·소프트맥스)과 같은 구조.
답안은 선형회귀 vs 로지스틱회귀(실습 포함)의 정의, 칸, 비교 축을 한 장에 닫습니다.
기술사 답안 포인트
관련 용어
관련 토픽
AI
혼동행렬과 분류 지표
맞힌 것과 놓친 것을 칸으로 나눈 혼동행렬에서 정밀도·재현율·F1을 읽고, 불균형에서는 ROC보다 PR을, 다중 클래스에서는 Macro·Micro·Weighted를 고릅니다.
확률통계
상관관계 vs 인과관계
상관관계(Correlation): 두 변수가 함께 변하는 경향(공변 관계) — 한 변수가 커질 때 다른 변수도 커지거나(양의 상관) 작아지는(음의 상관) 정도
확률통계
등분산성(Homoscedasticity)/다중공선성(Multicollinearity)
등분산성(Homoscedasticity): 회귀분석에서 독립변수 값과 관계없이 오차(잔차)의 분산이 일정하다는 가정 — 반대는 이분산성(Heteroscedasticity)