PE Notes · DB
앙상블(Ensemble) 모형 - Bagging과 Boosting 알고리즘
앙상블(Ensemble) 학습: 여러 개의 기본 학습기(Base Learner, 약한 학습기)를 결합해 단일 모델보다 정확하고 안정적인 예측을 얻는 기법 — "집단 지성"
앙상블(Ensemble) 학습: 여러 개의 기본 학습기(Base Learner, 약한 학습기)를 결합해 단일 모델보다 정확하고 안정적인 예측을 얻는 기법 — "집단 지성". 배깅(Bagging, Bootstrap Aggregating): 원 데이터에서 복원 추출(부트스트랩)한 여러 표본으로 모델을 병렬 학습하고 결과를 투표·평균 → 분산(Variance) 감소 — 대표: .
구조와 칸
| 알고리즘 | 특징 |
|---|---|
| 2차 미분(헤시안) 근사, 정규화 항(L1·L2)으로 과적합 억제, 결측치 자동 처리, 병렬 분할 탐색 | |
| Light | 히스토그램 기반, 리프 중심(Leaf-wise) 성장, GOSS(기울기 기반 샘플링)·EFB(특성 묶음) → 대용량 고속 |
| CatBoost | 범주형 변수 자동 처리(순서형 타깃 인코딩), 순서 부스팅으로 예측 이동(타깃 누수) 완화 |
(Out-Of-Bag): 각 표본에서 뽑히지 않은 데이터(약 36.8%)로 별도 검증 데이터 없이 성능 평가. 랜덤 포레스트: 배깅 + 노드 분할 시 특성(변수)도 무작위로 일부만(분류 √p개 등) 고려 → 트리 간 상관 감소 → 분산 추가 감소, 특성 중요도 제공. ① (Adaptive Boosting). ② GBM (Gradient Boosting Machine).
배깅 vs 부스팅 vs
| 기법 | 내용 |
|---|---|
| 하드 보팅 | 각 모델 예측 클래스 다수결 |
| 소프트 보팅 | 각 모델 예측 확률 평균 후 최대 클래스 — 일반적으로 하드보다 우수 |
| 스태킹 | 서로 다른 모델(트리·SVM·신경망)의 예측을 메타 모델 입력으로 학습 — 교차 검증 예측 사용으로 누수 방지 |
| 구분 | 배깅·랜덤 포레스트 | 부스팅 |
|---|---|---|
| 주요 파라미터 | 트리 수, max_features, 최대 깊이 | 학습률, 트리 수, 깊이, 정규화(λ·α), 서브샘플 |
| 과적합 대응 | 트리 수 늘려도 안전 | 학습률↓ + 조기 종료(Early Stopping) |
| 해석 | 특성 중요도· | 특성 중요도·SHAP |
금융: 신용평가·사기 탐지(FDS)에 XGBoost·LightGBM, 불균형 데이터는 가중치·임계값 조정. 마케팅: 고객 이탈 예측·추천 순위(Learning to Rank). 제조: 불량 예측·설비 이상 탐지(Isolation Forest도 트리 앙상블).
답안은 앙상블(Ensemble) 모형 - Bagging과 Boosting 알고리즘의 정의, 칸, 비교 축을 한 장에 닫습니다.