오토인코더·VAE, NER, 임베딩, 트랜스포머

표현을 압축하는 망, 단어와 개체를 벡터로 읽는 과업, 그 벡터 위에서 문맥을 한꺼번에 보는 뼈대는 한 문항으로 자주 묶입니다. 오토인코더ⓘ와 VAEⓘ는 잠재 공간의 성격이 다르고, 단어 임베딩ⓘ과 NERⓘ은 텍스트를 기호에서 벡터·태그로 바꿉니다. 트랜스포머ⓘ가 그 위의 기본 골격이며, 서비스에서는 첫 토큰과 이후 토큰 속도가 체감이 됩니다.

오토인코더와 VAE

오토인코더는 입력을 낮은 차원의 z로 줄였다가 다시 펼칩니다. 학습 신호는 원본과 복원의 차이입니다. 레이블이 없어도 되므로 차원축소, 노이즈 제거, 이상탐지(복원 오차가 큰 표본)에 씁니다.

VAE는 z를 한 점이 아니라 평균·분산의 분포로 둡니다. 손실은 재구성에 더해, 그 분포를 단순한 정규에 가깝게 묶는 KL 항입니다. 그래서 잠재 공간을 따라 걸어 새 샘플을 뽑을 수 있습니다.

서빙 지표는 표현 학습과 다른 축입니다. TTFTⓘ는 요청 후 첫 토큰까지, TPOTⓘ는 그다음 토큰 하나의 평균 시간입니다. 채팅은 TTFT가 체감 반응이고, 긴 문서는 TPOT가 끝까지의 속도입니다. 프리필·KV 캐시가 TTFT를, 배치·양자화가 TPOT를 당기는 쪽에 가깝습니다.

단어 임베딩과 NER

원-핫은 차원이 어휘만큼 크고, 비슷한 단어가 직교합니다. 임베딩은 밀집 벡터로 바꿔, 같이 등장하는 단어를 가깝게 놓습니다.

NER은 사람(PER), 조직(ORG), 장소(LOC), 날짜·숫자처럼 고유 표현을 찾아 종류를 붙이는 과업입니다. 규칙은 사전과 패턴에 기대고, 통계 모델은 이웃 태그를 같이 보며, 지금은 사전학습 모델을 미세조정하거나 짧은 예시만으로 뽑습니다. 정보 추출, 지식 그래프, 검색 질의의 엔티티 칸에 붙습니다.

트랜스포머와 Self-Attention

순환망은 토큰을 순서대로 밀어 장거리 의존이 약하고 병렬이 어렵습니다. 트랜스포머는 순환을 빼고 Self-Attentionⓘ으로 모든 토큰 쌍의 관련을 한 번에 계산합니다. 위치는 위치 인코딩으로 따로 넣습니다.

각 토큰은 Query·Key·Value로 선형 변환됩니다. 점수 softmax(QKᵀ / √d_k)가 가중치가 되고, 그 가중치로 Value를 섞습니다. 헤드를 여러 개 두면 구문·지시 대상·의미처럼 다른 관계를 동시에 봅니다. 인코더만 쓰면 이해(BERT 계열), 디코더만 쓰면 생성(GPT 계열), 둘을 붙이면 변환(T5 계열)입니다.

기술사 답안 포인트

관련 용어

• 오토인코더ⓘ
• VAEⓘ
• NERⓘ
• Word Embeddingⓘ
• 트랜스포머ⓘ
• Self-Attentionⓘ
• TTFTⓘ
• TPOTⓘ