PE Notes · 확률통계
잭나이프 기법
관측을 하나씩 빼고 n개 부분표본을 만들어 추정량의 편향·분산을 재는 잭나이프를 부트스트랩·LOO-CV와 가릅니다.
한 점을 빼고 다시 재는 일이, 추정량이 얼마나 기울었는지를 보여 줍니다. 는 표본 n개에서 관측을 하나씩 제외한 n개의 부분표본을 만들고, 각 통계량으로 편향과 분산을 봅니다. 분포 가정이 약한 소표본 입니다. 복원 추출이 필요 없습니다.
절차와 식
전체 추정량 θ̂를 먼저 둡니다. i번째를 뺀 표본에서 θ̂₍₋ᵢ₎를 구하고, 그 평균 θ̄ⱼ = (1/n) Σ θ̂₍₋ᵢ₎를 잭나이프 평균으로 둡니다. 편향 추정은 (n−1)(θ̄ⱼ − θ̂)입니다. 편향을 뺀 수정량은 n·θ̂ − (n−1)·θ̄ⱼ입니다. 분산 추정은 ((n−1)/n) Σ (θ̂₍₋ᵢ₎ − θ̄ⱼ)²입니다.
한 점이 통계량을 얼마나 미는지도 같이 보입니다. 영향이 큰 관측은 민감도 진단이 됩니다. 중앙값처럼 매끄럽지 않은 통계량에는 잘 안 맞습니다. 극단을 하나 빼면 값이 점프하기 때문입니다.
| 단계 | 하는 일 |
|---|---|
| 1 | X에서 xᵢ를 뺀다 |
| 2 | θ̂₍₋ᵢ₎를 계산한다 |
| 3 | n개의 평균 θ̄ⱼ |
| 4 | 편향·분산·수정량 |
부트스트랩과 LOO-CV
은 복원 추출로 B개의 표본을 다시 만듭니다. B는 수천이 흔합니다. 편향·분산 모두 가능하고 복잡한 통계량에 더 유연하며, 계산이 더 큽니다. 잭나이프는 정확히 n번이고 편향 수정이 손계산에 남습니다. 분산은 부트스트랩이 대체로 더 정직합니다.
는 한 점을 검증, 나머지를 학습으로 n번 돌리는 교차검증입니다. 폴드 수가 n인 k-겹과 같고, 잭나이프의 학습 응용입니다. 모형 n번 적합이라 데이터가 크면 k-겹이 실무입니다.
| 비교축 | 잭나이프 | 부트스트랩 |
|---|---|---|
| 뽑기 | 1개 제외 | 복원 |
| 횟수 | n | B ≫ n |
| 비용 | 낮음 | 높음 |
| 강점 | 편향 수정 | 분포·복잡한 량 |
답안은 제외 절차, 편향·분산 식, 부트스트랩 표, LOO-CV 한 줄을 한 장에 닫습니다.
기술사 답안 포인트
기출 이력
제140회 정보관리기술사 1교시