PE Notes · AI

연합학습, 전이학습, AutoML

원본 데이터를 모으지 않고 파라미터만 모으는 연합학습, 사전학습 지식을 새 과제에 옮기는 전이학습, 파이프라인 탐색을 자동화하는 AutoML을 한 장에서 구분합니다.

2026-09-06

데이터를 한곳으로 모으기 어렵거나, 새 과제에 쓸 표본이 적거나, 모델 탐색을 사람이 다 돌리기 부담일 때 쓰는 세 기법이 자주 한 문항으로 묶입니다. 은 어디 두고 배우느냐, 은 무엇을 재사용하느냐, 은 누가 탐색하느냐입니다.

연합학습

각 클라이언트(기관·기기)가 원본을 밖으로 보내지 않고 로컬에서 학습한 뒤, 가중치나 기울기만 서버로 올립니다. 서버는 집계해 글로벌 모델을 갱신하고 다시 뿌립니다.

의료 공동 모델, 금융 이상탐지 협력, 기기 위 입력 예측처럼 모을 수 없는 데이터에 씁니다. 개인정보 규제 강화가 등장의 배경입니다.

사전학습 모델이 이미 익힌 특성 추출기를 새 도메인·과제에 재사용합니다. 처음부터 학습하는 것보다 표본과 연산이 적게 듭니다. 미세조정도 같은 계열입니다.

데이터가 충분하고 도메인 차이가 크면 전체를 낮은 학습률로 다시 맞춥니다. 거대 언어모델에서는 몸통을 고정한 채 ·Adapter만 움직이는 쪽이 흔합니다.

전처리, 특성 선택, 모델 선택, 하이퍼파라미터, 앙상블을 탐색 문제로 바꿔 자동으로 돕니다. 전문가가 없어도 후보를 넓게 훑을 수 있습니다.

기술	역할
HPO	Grid / Random / Bayesian Search로 하이퍼파라미터를 찾는다
	층 수·연결 자체를 탐색 공간으로 둔다
	이전 과제에서 배운 “배우는 방법”을 새 과제에 재사용한다
AutoFE	특성 생성·선택·변환을 자동화한다

반복 실험을 줄이고 비전문가의 진입을 낮추는 대신, 탐색 연산이 크고 선택이 블랙박스에 가깝습니다. 도메인 제약을 탐색 공간에 넣지 않으면 현장과 어긋난 모델을 고르기도 합니다.