PE Notes · 확률통계
통계적 가설검정과 유의수준
귀무가설과 대립가설을 세운 뒤 유의수준 α와 p-value로 기각을 가르고, 1종·2종 오류와 검정력, 단측·양측 기각역을 정리합니다.
전환율이 올랐다고 해서 효과가 난 것은 아닙니다. 운인지 신호인지를 가르는 장치가 가설검정입니다. H₀는 “차이·효과가 없다”는 기본값이고, 대립가설 H₁은 “있다”는 주장입니다. 표본이 그 기본값을 얼마나 민망하게 만드느냐를 숫자로 봅니다.
가설을 세우고 선을 긋다
절차는 다섯 칸입니다. 가설을 적고, α를 고르고, t·z·F 같은 검정통계량을 구한 뒤, 를 계산해 판정합니다. p가 α보다 작으면 H₀를 기각하고, 크거나 같으면 기각하지 않습니다. “채택”은 참이 증명됐다는 뜻이 아니라, 지금 표본으로는 뒤집을 힘이 부족하다는 뜻입니다.
관례 α는 0.05 또는 0.01입니다. p가 0.01보다 작으면 강한 증거, 0.05 안이면 흔히 기각, 0.10 근처면 약한 증거, 그보다 크면 증거가 부족합니다. 숫자는 기계적으로 자르되, 표본 크기와 효과 크기를 같이 적습니다. 큰 n은 작은 차이도 유의해 보이게 합니다.
| 단계 | 하는 일 |
|---|---|
| 가설 | H₀·H₁을 한 줄로 고정한다 |
| 유의수준 | α를 실험 전에 고른다 |
| 통계량 | 표본에서 t·z·F를 계산한다 |
| p-value | H₀가 참일 때 이만큼 또는 더 극단인 확률 |
| 판정 | p < α면 기각, 아니면 보류 |
두 오류와 검정력
H₀가 참인데 기각하면 입니다. 그 허용 한계가 α입니다. H₀가 거짓인데 기각하지 못하면 이고, 그 확률이 β입니다. 은 1−β, 거짓 H₀를 제대로 밀어내는 힘입니다. α를 줄이면 1종은 줄고 2종은 늘기 쉽습니다. 둘을 같이 내리려면 표본을 키우거나 효과 크기를 키웁니다.
분류의 언어로 옮기면 1종은 오탐(FP), 2종은 미탐(FN)입니다. 의 칸과 같은 자리입니다. 제품 실험의 도 이 골격입니다. 중간에 그래프가 좋아 보여 끊으면 1종이 커집니다.
| 실제 \ 판정 | H₀ 기각 | H₀ 유지 |
|---|---|---|
| H₀ 참 | 1종 오류 (α) | 올바른 유지 |
| H₀ 거짓 | 올바른 기각 (검정력) | 2종 오류 (β) |
단측과 양측
H₁이 μ > μ₀ 또는 μ < μ₀이면 기각역은 한쪽입니다. μ ≠ μ₀이면 양쪽이며 α를 반으로 나눕니다. 양측 정규근사에서 α=0.05이면 |z| > 1.96이 임계입니다. σ를 모르고 표본이 작으면 t(n−1, α/2)를 씁니다. 단측은 같은 α에서 기각이 쉽지만, 반대 방향 효과는 놓칩니다. 방향을 사후에 고르면 안 됩니다.
정규성이 깨지면 모수 검정 대신 Wilcoxon·Mann-Whitney 같은 순위 검정을 고릅니다. 소표본은 Shapiro-Wilk, 대표본은 Kolmogorov-Smirnov로 모양을 먼저 봅니다. 답안은 5단계, α와 p, 1종·2종·검정력, 단측·양측을 한 장에 닫습니다.