PE Notes · 확률통계
마르코프 특성(MDP/전이확률/벨만방정식)
마르코프 특성(Markov Property): 미래 상태는 현재 상태에만 의존하고 과거 이력과는 독립이라는 성질 — "현재가 과거의 모든 정보를 요약"
마르코프 특성(Markov Property): 미래 상태는 현재 상태에만 의존하고 과거 이력과는 독립이라는 성질 — "현재가 과거의 모든 정보를 요약". P(Sₜ₊₁ | Sₜ, Sₜ₋₁, …, S₀) = P(Sₜ₊₁ | Sₜ).
구조와 칸
무기억성: 과거 경로가 아니라 현재 상태로 결정 ( 기하분포의 무기억성과 유사 개념). 상태 설계가 핵심: 마르코프 특성이 성립하도록 필요한 정보를 상태에 포함(예: 위치 + 속도). 할인율 γ(0 ≤ γ < 1): 미래 보상의 현재 가치 — γ가 작을수록 근시안적. 완전 관측 vs 부분 관측: 상태를 직접 못 보면 PO.
| 요소 | 의미 |
|---|---|
| S 상태 집합 | 환경의 상황 |
| A 행동 집합 | 에이전트가 고를 수 있는 행동 |
| P(s′ \ | s, a) 전이확률 |
| R(s, a) 보상 | 행동의 즉시 보상 |
| γ 할인율 | 미래 보상 가중치 |
| 정책 π(a \ | s) |
전이확률 Pᵢⱼ = P(Sₜ₊₁ = j | Sₜ = i), 각 행의 합 = 1. n단계 전이: Pⁿ (채프먼-콜모고로프 방정식). (Stationary Distribution) π: πP = π, Σπᵢ = 1 — 장기적으로 각 상태에 머무는 비율. 성질: 기약성(모든 상태 도달 가능)·비주기성 → 유일한 정상 분포로 수렴(에르고딕).
마르코프 체인 vs MDP vs POMDP vs HMM
| 방법 | 모델(P·R) 필요 | 내용 |
|---|---|---|
| 가치 반복(Value Iteration) | 필요 | 벨만 최적 방정식을 반복 적용해 V 수렴 |
| 정책 반복(Policy Iteration) | 필요 | 정책 평가 ↔ 정책 개선 반복 |
| 몬테카를로 | 불필요 | 에피소드 전체 반환값 평균 |
| TD 학습· | 불필요 | Q(s,a) ← Q(s,a) + α[r + γ maxₐ′ Q(s′,a′) − Q(s,a)] |
| SARSA | 불필요 | 실제 다음 행동 기준 갱신(on-policy) |
| 심층 (DQN·PPO) | 불필요 | 신경망으로 Q·정책 근사 |
| 기준 | 마르코프 체인 | MDP | POMDP | HMM |
|---|---|---|---|---|
| 행동 | 없음 | 있음 | 있음 | 없음 |
| 보상 | 없음 | 있음 | 있음 | 없음 |
| 상태 관측 | 완전 | 완전 | 부분(관측으로 추정) | 은닉(관측으로 추정) |
| 목적 | 상태 변화 예측 | 최적 정책 | 불확실성 하 최적 정책 | 숨은 상태 추론 |
| 예 | 날씨·페이지랭크 | 게임·로봇 | 로봇 내비게이션 | 음성 인식 |
강화학습: 게임 AI·로봇 제어·자율주행 의사결정·추천 시스템. LLM 정렬: 에서 응답 생성을 MDP로 보고 정책 최적화(PPO). 웹·검색: 페이지랭크(무작위 서퍼 마르코프 체인의 정상 분포).
답안은 마르코프 특성(MDP/전이확률/벨만방정식)의 정의, 칸, 비교 축을 한 장에 닫습니다.
기술사 답안 포인트
관련 용어
관련 토픽
AI
강화학습
상태·행동·보상으로 정책을 익히는 강화학습을 가치 기반, 정책 경사, Actor-Critic으로 나누고, 이산·연속 행동에 따라 DQN·PPO·SAC를 고르는 기준을 정리합니다.
AI
환각현상, 모라벡의 역설, RLHF·RAFT, 과적합
LLM이 사실이 아닌 답을 자신 있게 내는 이유, 감각·운동이 기계에 더 어려운 이유, 인간 선호 정렬의 두 경로, 학습이 너무 맞거나 덜 맞는 상태를 한 장에서 구분합니다.
확률통계
확률분포(정규/베르누이/기하분포)
확률분포(Probability Distribution): 확률변수가 취할 수 있는 값과 그 값이 나타날 확률(또는 확률밀도)의 대응 관계