환각현상, 모라벡의 역설, RLHF·RAFT, 과적합

이 글은 성격이 다른 네 개념을 한 문항에서 묶어 다루는 구성입니다. 환각현상ⓘ은 생성 품질의 실패 모드이고, 모라벡의 역설ⓘ은 난이도의 직관이 뒤집히는 현상이며, RLHFⓘ와 RAFTⓘ는 정렬 학습의 경로, 과적합·과소적합은 일반화의 진단입니다. 공통 템플릿을 억지로 맞추기보다, 개념마다 정의·원인·비교·대응만 골라 적습니다.

환각현상 (Hallucination)

LLMⓘ이 사실과 다르거나 근거가 없는 내용을, 문장은 매끄럽게, 말투는 자신 있게 내놓는 현상입니다. 유창함과 참을 같은 것으로 읽기 쉽다는 점이 실무 위험입니다.

원인은 한 가지가 아닙니다. 학습 데이터의 오류·편향, 다음 토큰 예측이 사실 검증을 보장하지 않는다는 점, 디코딩(온도·샘플링)에서 창의성과 사실성을 맞바꾸는 타협, 학습 이후 정보가 파라미터에 없는 한계가 겹칩니다.

의료·법률·금융처럼 틀린 답이 바로 결정에 붙으면 피해가 큽니다. 대응은 RAGⓘ·RIG처럼 외부 지식을 붙이고, RLHF/RAFT로 사실성 쪽으로 정렬하며, 출처 제시와 CoVe(Chain of Verification)ⓘ 같은 생성 중 검증, 마지막에 사람 검수(Human-in-the-loop)를 두는 층입니다.

모라벡의 역설 (Moravec's Paradox)

컴퓨터에게는 체스·정리 증명 같은 고차원 추론이 상대적으로 쉽고, 보행·사물 인식·정밀 조작처럼 인간에게 쉬운 감각·운동이 훨씬 어렵다는 관찰입니다. 1980년대 한스 모라벡 등이 로봇공학 맥락에서 정리했습니다.

진화적으로 감각·운동은 매우 오래 다듬어진 능력이고, 추상 추론은 인류 역사에서 비교적 짧습니다. 초기 AI가 “지적으로 어려워 보이는” 과제에서 먼저 성과를 내고, “쉬워 보이는” 신체 과제는 오래 정체된 이유를 이 역설이 설명합니다.

지금 LLM은 텍스트 추론에서 인간에 가깝거나 앞서는 구간이 생겼지만, 실세계 물리 상호작용(로보틱스, Physical AI)은 상대적으로 뒤처집니다. 역설이 아직 유효하다는 인용 지점입니다.

RLHF와 RAFT

둘 다 인간 선호에 모델을 맞추는 정렬(Alignment) 기법입니다. 갈라지는 지점은 보상모델 이후를 강화학습으로 돌리느냐, 상위 응답만 골라 다시 지도학습하느냐입니다.

RLHF (Reinforcement Learning from Human Feedback) 는 인간이 출력에 순위를 매긴 데이터로 보상모델ⓘ을 만들고, 그 점수로 정책(LLM)을 PPO 등 강화학습으로 갱신합니다. 전형 순서는 지도 미세조정(SFT) → 선호 비교쌍 → 보상모델 → PPO → 정렬된 정책입니다.

RAFT (Reward rAnked FineTuning) 는 같은 보상모델을 쓰되, 정책 경사 루프 대신 여러 응답을 뽑고 → 점수화하고 → 상위만 남겨 → SFT로 다시 학습하는 순환입니다. 강화학습의 불안정과 비용을 줄이려는 경로입니다.

과적합과 과소적합

과적합ⓘ은 학습 데이터의 노이즈까지 외워, 학습 성능은 높은데 새 데이터에서 급히 무너지는 상태입니다. 과소적합ⓘ은 모델이 너무 단순하거나 학습이 모자라, 학습 데이터조차 설명하지 못하는 상태입니다.

판별은 학습곡선에서 학습/검증 오차의 간격, 그리고 k-fold 교차검증으로 일반화를 다시 보는 것이 기본입니다. Bias-Variance Tradeoffⓘ 로 읽으면, 가운데 적합 구간이 목표입니다.

기술사 답안 포인트

관련 용어

• 환각현상ⓘ
• CoVeⓘ
• 모라벡의 역설ⓘ
• RLHFⓘ
• RAFTⓘ
• 보상모델ⓘ
• 보상해킹ⓘ
• 과적합ⓘ
• 과소적합ⓘ
• Bias-Variance Tradeoffⓘ
• 조기종료ⓘ