머신러닝 파이프라인과 지도·비지도학습

같은 데이터라도 정답이 붙어 있는지, 보상만 오는지에 따라 고르는 학습이 달라집니다. 그 선택을 프로덕션까지 반복 가능하게 만든 것이 ML 파이프라인ⓘ입니다. 이 글은 먼저 학습 패러다임을 가르고, 이어서 수집에서 재학습까지의 단계와 과적합 진단을 봅니다.

학습 패러다임

지도학습ⓘ은 입력과 정답 쌍으로 매핑을 익힙니다. 비지도학습ⓘ은 레이블 없이 군집·분포·이상을 찾습니다. 준지도학습ⓘ은 적은 레이블과 많은 비레이블을 같이 쓰고, 자기지도학습ⓘ은 데이터 안에서 가상의 정답(마스킹 복원, 다음 토큰)을 만듭니다. 강화학습은 정답 대신 보상 신호로 순차 결정을 익힙니다.

알고리즘은 과업에 붙입니다. 분류에는 로지스틱 회귀, SVM, 나무·앙상블, 딥러닝이 오고, 회귀에는 선형·정규화 선형·부스팅이 옵니다. 군집은 K-means·DBSCAN, 차원축소는 PCAⓘ·t-SNEⓘ·UMAP, 이상탐지는 Isolation Forest나 재구성 오차 기반입니다. 자기지도는 대규모 사전학습의 기본 경로입니다.

파이프라인 — 준비, 모델링, 운영

실험 노트북이 한 번 돌아가는 것과, 같은 전처리로 다시 학습·배포되는 것은 다릅니다. 파이프라인은 후자를 위해 단계를 고정합니다.

두 가지를 빠뜨리면 파이프라인이 깨집니다. Feature Storeⓘ가 없으면 학습 때 만든 특성과 온라인에서 계산한 특성이 달라져 학습-서빙 불일치ⓘ가 납니다. 실험 추적(파라미터·데이터·지표 버전)이 없으면 재현이 안 됩니다. 재학습·배포를 스케줄러로 묶는 일이 ModelOps의 시작입니다.

과적합을 파이프라인에서 진단하기

분할과 검증이 있는 이유는 학습 점수만 믿으면 안 되기 때문입니다. 훈련 오차와 검증 오차를 같이 봐야 상태가 갈립니다.

높은 편향은 과소적합, 높은 분산은 과적합에 가깝습니다. 막는 쪽은 데이터 증강, L1/L2·Dropout 정규화, 검증 오차가 다시 오를 때 멈추는 조기종료, k-fold 교차검증입니다. 파이프라인에 이 진단이 없으면 배포 점수는 학습 점수와 따로 놉니다.

기술사 답안 포인트

관련 용어

• ML 파이프라인ⓘ
• Feature Storeⓘ
• 학습-서빙 불일치ⓘ
• 지도학습ⓘ
• 비지도학습ⓘ
• 준지도학습ⓘ
• 자기지도학습ⓘ