PE Notes · AI

편향, 과적합 해결, 최적화 알고리즘, 차원축소

공정성 관점의 편향 유형, 과적합을 데이터·모델·학습 단계에서 줄이는 기법, GD에서 Adam까지의 옵티마이저, 선형·비선형 차원축소를 구분합니다.

2026-09-01

과적합이 왜 생기는지는 앞선 글에서 다뤘습니다. 이 글은 그다음입니다. 출력이 특정 집단에 기울어지는 , 일반화를 되찾는 기법, 가중치를 실제로 움직이는 , 특성 수를 줄이는 차원축소입니다.

편향 (Bias)

기술사 답에서는 편향을 두 층으로 나누는 편이 낫습니다. 통계적 편향은 예측이 참값에서 한쪽으로 어긋나는 정도이고, 크면 과소적합으로 이어집니다. 데이터·알고리즘 편향은 학습 데이터의 불균형이나 차별적 특성이 출력에 남아, 특정 집단에 불공정한 결과를 내는 현상입니다. 공정성·신뢰성 문항은 주로 후자입니다.

표본편향, 레이블편향, 확증편향, 상호작용편향, 측정편향이 중심의 편향으로 모이는 유형도 — 표본·레이블·측정이 편향을 만들고, 확증·상호작용으로 증폭되기도 한다.

유형	설명
	학습 데이터가 모집단을 대표하지 못한다.
레이블편향	라벨링에 사람의 주관·편견이 들어간다.
확증편향	기존 가설을 강화하는 쪽으로 데이터·해석이 기운다.
상호작용편향	사용자 피드백 루프로 편향이 누적된다.
측정편향	특성 측정 방식 자체가 왜곡되어 있다.

채용·대출·의료처럼 민감한 결정에 붙으면 차별이 됩니다. 완화는 데이터(균형 샘플링, 다양성, Disparate Impact 모니터링), 모델(Fairness-aware Learning, 적대적 디바이어싱), 운영(정기 편향 감사, 사람 검수) 세 층으로 적습니다.

과적합 해결방안

정의와 Train/Validation 격차는 과적합 토픽을 보고, 여기서는 어디에 손을 대느냐를 나눕니다.

데이터 단계의 증강·균형 표본·교차검증, 모델 단계의 정규화·Dropout·앙상블, 학습 단계의 조기종료·배치정규화·학습량 조절 — 데이터, 모델, 학습 단계에서 과적합을 줄이는 기법.

기법	원리	비고
(L1/L2)	손실에 가중치 크기 페널티를 더해 복잡도를 억누른다.	L1은 희소성, L2는 고른 축소
	학습 중 일부 뉴런을 끄고 의존을 줄인다.	약한 앙상블 효과
데이터 증강	회전·노이즈 등으로 표본을 늘린다.	이미지·음성에서 특히 유효
	검증 오차가 다시 오르기 전에 멈춘다.	구현이 단순하다
교차검증	k-fold로 일반화를 여러 번 본다.	해결보다 진단에 가깝다
앙상블	여러 모델 예측을 합쳐 분산을 낮춘다.	Bagging, Boosting
배치정규화	계층 입력 분포를 맞춰 학습을 안정화한다.	과적합 억제는 보조 효과

최적화 알고리즘

기본 경사하강법은 학습률이 고정이고, 지역최소·안장점에서 멈추며 수렴이 느립니다. 그래서 미니배치, 관성, 파라미터별 학습률이 차례로 붙었습니다.

SGD: 미니배치로 그래디언트를 계산한다. 빠르고, 노이즈가 지역최소 탈출에 도움이 되기도 한다.
Momentum: 이전 방향을 관성처럼 누적해 진동을 줄인다.
AdaGrad: 과거 제곱합에 반비례해 학습률을 나눈다. 희소 특성에 유리하나 학습률이 너무 작아질 수 있다.
RMSprop: 그 누적을 지수이동평균으로 바꿔 급감을 완화한다.
Adam: 1차 모멘트(관성)와 2차 모멘트(RMSprop)를 결합한다. 실무 기본값으로 가장 많이 쓴다.

경사하강법에서 SGD, Momentum, AdaGrad, RMSprop을 거쳐 Adam으로 이어지는 옵티마이저 계보 — GD → SGD → Momentum → AdaGrad → RMSprop → Adam(1차·2차 결합).

비교축	SGD	Momentum	AdaGrad	RMSprop	Adam
학습률	고정	고정	파라미터별 적응	파라미터별 적응	파라미터별 적응
과거 반영	없음	1차 모멘트	누적 제곱합	지수이동평균	1차+2차
수렴	느림	개선	초기는 빠르고 후기는 둔화	빠름	빠름
약점	진동	하이퍼파라미터	학습률 급감	여전히 튜닝 필요	일부 과제에서 일반화 논쟁

데이터 차원축소

특성이 늘수록 공간이 희소해져 거리 기반 학습이 무너집니다(). 시각화, 연산량, 노이즈 제거, 과적합 완화 때문에 차원을 줄입니다.

선형·비선형과 비지도·지도를 축으로 PCA, LDA, t-SNE·UMAP·AutoEncoder, 드문 비선형 지도를 나눈 2x2 — 선형/비선형 × 비지도/지도. PCA는 비지도 선형, LDA는 지도 선형이다.

기법	방식	선형	지도
	분산을 가장 잘 남기는 축으로 사영	선형	비지도
LDA	클래스 사이는 벌리고 안은 모은다	선형	지도
	이웃 확률을 저차원에서 재현	비선형	비지도
UMAP	위상 구조 기반, 속도·전역 보존이 나은 편	비선형	비지도
	잠재벡터를 저차원 표현으로 쓴다	비선형	비지도

비교축	PCA	t-SNE	UMAP	Autoencoder
전역 구조	우수	국소 위주	상대적으로 우수	학습에 따라 다름
계산 비용	낮음	높음	중간	학습이 필요
주 용도	전처리	시각화	시각화·전처리	특징 추출·이상탐지
새 표본 적용	가능	재계산이 어려움	가능	가능

초고차원 전처리, 군집·이상탐지 앞단, RAG 임베딩 시각화에 자주 씁니다.

편향, 과적합 해결, 최적화 알고리즘, 차원축소

편향 (Bias)

과적합 해결방안

최적화 알고리즘

데이터 차원축소

기술사 답안 포인트

관련 용어

관련 토픽