PE Notes · 확률통계
확률분포
한 번의 성패인 베르누이, 첫 성공까지인 기하, 종 모양의 정규를 평균·분산·무기억성으로 잇고, 이항·정규 근사 계층을 정리합니다.
한 번의 성공 실패, 첫 성공까지 기다림, 그리고 종 모양의 연속. 세 분포가 한 줄로 이어집니다. 는 시행 한 번에서 1 또는 0만 나옵니다. 는 그 시행을 성공할 때까지 반복한 횟수입니다. 는 평균과 분산으로 정해지는 연속 종입니다.
세 분포의 숫자
베르누이는 모수 p 하나입니다. P(X=1)=p, P(X=0)=1−p, 평균 p, 분산 p(1−p). 같은 시행을 n번 독립으로 더하면 이항 B(n,p)입니다. 로지스틱 회귀의 한 건 성패가 이 칸입니다. 이진 분류의 도 베르누이 우도에서 옵니다. 클래스가 셋 이상이면 가 그 칸을 넓힙니다.
기하는 P(X=k)=(1−p)^{k−1} p (k=1,2,…)입니다. 평균 1/p, 분산 (1−p)/p². p가 작을수록 첫 성공이 늦습니다. 은 P(X>s+t | X>s) = P(X>t)입니다. 이미 기다린 횟수가 앞으로의 대기를 바꾸지 않습니다. 연속에서 같은 성질은 지수분포입니다.
| 항목 | 베르누이 | 기하 | 정규 |
|---|---|---|---|
| 유형 | 이산 | 이산 | 연속 |
| 모수 | p | p | μ, σ² |
| 평균 | p | 1/p | μ |
| 분산 | p(1−p) | (1−p)/p² | σ² |
| 쓰임 | 한 번 성패 | 첫 성공까지 | 오차·합의 근사 |
정규는 f(x)가 평균 주면에 모이고 양쪽이 얇아집니다. 키, 측정 오차, 많은 합의 극한이 이 모양에 붙습니다.
계층과 학습
베르누이를 n번 반복하면 이항입니다. 첫 성공까지 세면 기하입니다. 이항의 n이 크고 p가 극단이 아니면 정규로 근사합니다. 포아송도 λ가 크면 정규에 붙습니다. 중심극한정리가 그 다리를 놓습니다.
| 분포 | 학습에서의 자리 |
|---|---|
| 베르누이 | 이진 출력, 교차 엔트로피 |
| 기하 | 첫 사건까지 시행 수 |
| 정규 | 가우시안 오차, 잠재 공간 |
답안은 세 분포의 PMF·평균·분산, 무기억성 한 줄, 베르누이→이항·기하→정규 계층을 한 장에 닫습니다.