PE Notes · 서비스
하이브리드 검색(Hybrid Search)
하이브리드 검색(Hybrid Search): 키워드 기반 희소(Sparse) 검색(BM25 등)과 임베딩 기반 밀집(Dense) 벡터 검색(의미 검색)을 함께 수행하고 결과를 융합해, 정확한 단어 일치와 의미적 유사성을 모두 반영하는 검색 방식
하이브리드 검색(Hybrid Search): 키워드 기반 희소(Sparse) 검색( 등)과 임베딩 기반 밀집(Dense) 벡터 검색(의미 검색)을 함께 수행하고 결과를 융합해, 정확한 단어 일치와 의미적 유사성을 모두 반영하는 검색 방식. 주요 용도: RAG(검색 증강 생성)의 검색 단계 품질 향상 , 사내 문서 검색·전자상거래 검색.
구조와 칸
상호 보완: 희소 검색 = 정확 일치·설명 가능, 밀집 검색 = 의미·문맥 이해. 융합 단계 필요: 점수 척도가 다른 두 결과를 합치는 방법이 핵심. 조정 가능: 가중치(α)로 키워드·의미 비중 조절. 다단계 파이프라인: 1차 후보 검색(빠름) → 재순위화(정밀).
| 단계 | 내용 |
|---|---|
| 색인(Indexing) | 문서 분할(Chunking) → ① 역색인(형태소 분석·토큰) ② 임베딩 벡터 색인(·IVF 근사 최근접 이웃) |
| 희소 검색 | BM25: 단어 빈도(TF)·역문서 빈도(IDF)·문서 길이 정규화로 점수 — 학습형 희소 모델()도 사용 |
| 밀집 검색 | 질의 임베딩 ↔ 문서 임베딩의 코사인 유사도·내적 |
| 융합(Fusion) | 또는 정규화 후 가중 합 |
| 재순위화(Re-ranking) | 가 질의·문서 쌍을 함께 읽고 정밀 점수 산출 |
| 후처리 | 메타데이터 필터(기간·권한), 중복 제거, LLM 컨텍스트 구성 |
score(D, Q) = Σ IDF(qᵢ) × [ f(qᵢ, D) × (k₁ + 1) ] ÷ [ f(qᵢ, D) + k₁ × (1 − b + b × |D| ÷ avgdl) ]. f: 문서 내 단어 빈도, |D|: 문서 길이, avgdl: 평균 문서 길이, 일반적으로 k₁ = 1.2~2.0, b = 0.75. ① RRF(Reciprocal Rank Fusion) — 점수 대신 순위만 사용, 척도 정규화 불필요 RRF(d) = Σ 1 ÷ (k + rankᵢ(d)), 일반적으로 k = 60.
희소 검색 vs 밀집 검색 vs 하이브리드 검색
| 지표 | 의미 |
|---|---|
| 정답 문서가 상위 k개에 포함된 비율 — RAG에서 가장 중요 | |
| MRR | 첫 정답 순위의 역수 평균 |
| nDCG@k | 순위별 가중 관련도 |
| Precision@k | 상위 k개 중 정답 비율 |
| 기준 | 희소(키워드, BM25) | 밀집(벡터) | 하이브리드 |
|---|---|---|---|
| 표현 | 단어 단위 희소 벡터 | 임베딩 밀집 벡터 | 둘 다 |
| 강점 | 정확 일치·고유명사·코드 | 동의어·의미·다국어 | 양쪽 장점 |
| 약점 | 어휘 불일치 | 정확 일치·신조어 | 복잡도·지연 증가 |
| 색인 | 역색인 | ANN(HNSW 등) | 역색인 + ANN |
| 설명 가능성 | 높음 | 낮음 | 중간 |
| 학습 필요 | 불필요 | 임베딩 모델 필요 | 임베딩 모델 필요 |
사내 RAG 챗봇: 규정 조항 번호(키워드) + 질문 의도(의미) 동시 처리. 전자상거래: 모델명 정확 일치 + "가벼운 여름 운동화" 같은 의미 검색. 법률·특허 검색: 조문·특허 번호 + 유사 판례·선행 기술.
답안은 하이브리드 검색(Hybrid Search)의 정의, 칸, 비교 축을 한 장에 닫습니다.
기출 이력
- 제140회 1교시
기술사 답안 포인트
관련 용어
관련 토픽
AI
RAG, RIG, MCP, MoE — LLM 최적화 기법
검색으로 지식을 붙이고, 생성 중 근거를 확인하고, 도구를 표준으로 연결하고, 필요한 전문가만 깨우는 네 가지 LLM 최적화 축을 구분합니다.
AI
환각현상, 모라벡의 역설, RLHF·RAFT, 과적합
LLM이 사실이 아닌 답을 자신 있게 내는 이유, 감각·운동이 기계에 더 어려운 이유, 인간 선호 정렬의 두 경로, 학습이 너무 맞거나 덜 맞는 상태를 한 장에서 구분합니다.
AI
유사도 — 자카드, 코사인, 실루엣계수
집합 겹침을 보는 자카드, 벡터 방향만 보는 코사인, 군집 응집·분리를 보는 실루엣계수를 입력 유형과 활용으로 구분합니다.