KV 캐시 (Key-Value Cache)

트랜스포머 언어모델은 다음 토큰을 만들 때마다 지금까지의 문맥을 다시 봅니다. 캐시가 없으면 매 스텝마다 토큰 1부터 t까지의 Key·Value를 다시 곱합니다. 길이가 늘수록 지연과 연산이 눈덩이처럼 커집니다. KV 캐시ⓘ는 이미 본 토큰의 K·V를 메모리에 남겨, 새 토큰의 Query만 계산하게 하는 추론 최적화입니다.

프리필과 디코딩

Self-Attention은 Query·Key·Value 세 행렬로 문맥 벡터를 만듭니다. 생성은 한 토큰씩 이어지므로, 과거 K·V는 값이 바뀌지 않습니다. 바뀌는 것은 새로 나온 토큰의 행뿐입니다.

캐시가 없을 때 길이 (n)의 총 계산은 대략 (O(n^{2}))입니다. 캐시를 쓰면 디코딩 한 스텝은 새 토큰과 저장된 문맥의 곱, 즉 (O(n))에 가깝습니다.

효과는 긴 컨텍스트에서 두드러집니다. GPU 연산이 줄면 처리량도 같이 오릅니다. sLLM 서빙이든 대형 모델이든, 캐시 없이는 긴 대화를 버텨 내기 어렵습니다.

메모리를 줄이는 기법

이득의 대가는 메모리입니다. 캐시 크기는 시퀀스 길이 × 레이어 수 × 헤드 수 × 차원에 비례해 VRAMⓘ을 밀어 올립니다.

GQA는 품질과 용량의 타협으로 많이 쓰이고, PagedAttention은 배치마다 길이가 다른 서빙에서 낭비를 줄입니다. 양자화는 sLLM 경량화의 양자화와 같은 축이되, 대상이 가중치가 아니라 런타임 캐시입니다.

한계와 격리

길이를 늘리면 캐시가 선형으로 커지고, OOM이 나면 배치를 줄여 처리량이 떨어집니다. 반대로 캐시를 비우고 매번 다시 계산하면 메모리는 살지만 속도가 죽습니다. 서빙은 이 사이에서 윈도우·양자화·페이지를 고릅니다.

멀티테넌트 서빙에서는 테넌트별 캐시 분리, 만료, 접근 제어가 성능 옵션이 아니라 보안 통제입니다. 최적화 답을 쓸 때 속도만이 아니라 격리를 한 줄 붙이면 점수가 갈립니다.

기술사 답안 포인트

관련 용어

• KV 캐시ⓘ
• 프리필ⓘ
• PagedAttentionⓘ
• Grouped Query Attentionⓘ
• TTFTⓘ
• VRAMⓘ