PE Notes · 확률통계
선형회귀 vs 로지스틱회귀
연속값을 직선으로 맞추는 선형회귀와 범주 확률을 시그모이드로 내는 로지스틱회귀를 출력·손실·추정 방법으로 가르고, 로짓과 Softmax를 개념으로 정리합니다.
집값을 맞출 때와 스팸인지 가를 때는 같은 직선을 쓸 수 없습니다. 앞은 열린 연속값이고, 뒤는 0과 1 사이의 확률입니다. 는 연속 종속변수를 초평면으로 설명하고, 는 범주 소속 확률을 냅니다. 둘 다 이지만 칸이 다릅니다.
출력이 선인가, 확률인가
선형은 Y=β₀+β₁X₁+…+ε 입니다. 예측은 실수 전체로 열립니다. 계수는 잔차 제곱을 최소로 찍는 가 닫힌 해를 줍니다. β=(XᵀX)⁻¹Xᵀy. 적합 정도는 R²=1−SSR/SST 로 읽습니다. 의 기본은 입니다.
로지스틱은 같은 선형식을 로짓에 올립니다. log(p/(1−p))=β₀+β₁X. 확률은 σ(z)=1/(1+e⁻ᶻ) 로 되돌립니다. z→−∞이면 0, z→∞이면 1, z=0이면 0.5입니다. 관례 경계는 0.5이지만, 비용이 다르면 경계를 옮깁니다. 추정은 제곱이 아니라 이고, 손실은 입니다. 잔차가 정규일 필요는 없습니다.
| 비교축 | 선형회귀 | 로지스틱회귀 |
|---|---|---|
| 종속 | 연속 | 범주(이진·다항) |
| 출력 | −∞~+∞ | 확률 0~1 |
| 연결 | 항등 | 로짓·시그모이드 |
| 손실 | MSE | 교차엔트로피 |
| 추정 | OLS | MLE |
| 자리 | 가격·매출 | 스팸·진단·이탈 |
클래스가 셋 이상이면 이진 시그모이드 대신 가 각 클래스 점수를 확률로 나눕니다. P(Y=k|X)=exp(βₖX)/Σexp(βⱼX). 이름은 회귀이나 하는 일은 분류입니다.
무엇을 보고 고르는가
선택 기준은 종속변수의 형입니다. 연속이면 선형, 범주면 로지스틱입니다. 선형으로 0/1을 맞추면 예측이 0 아래·1 위로 넘치고, 확률로 읽을 수 없습니다. 로지스틱의 계수 한 단위는 확률이 아니라 로그 오즈입니다. “X가 1 늘면 Y가 β만큼”이라는 문장을 그대로 옮기면 안 됩니다.
평가는 칸이 갈립니다. 선형은 R²·RMSE·MAE, 로지스틱은 에서 정밀도·재현율, 그리고 ROC-AUC입니다. 상관은 같이 움직임을 보고, 회귀는 한 쪽을 다른 쪽으로 설명합니다. 그래도 회귀 계수만으로 인과를 선언하지는 않습니다.
답안은 출력·손실·추정 세 축 비교, 시그모이드·로짓 한 줄, Softmax, 평가 지표를 개념으로만 닫습니다.