PE Notes · AI

터보퀀트

LLM KV 캐시를 극좌표 양자화와 1bit QJL로 약 3bit까지 줄이는 TurboQuant를 가중치 양자화·기존 KV 양자화와 가르고, 롱컨텍스트 서빙 자리를 정리합니다.

2026-10-13

컨텍스트가 길어질수록, 이미 계산한 Key·Value를 쌓는 칸이 GPU를 먼저 채웁니다. 는 그 를 벡터 양자화로 약 3bit까지 줄이면서, 어텐션 점수의 왜곡을 작게 남기려는 압축입니다. 가중치를 깎는 GPTQ·AWQ와 대상이 다릅니다. 캐시를 줄이므로 같은 카드에서 더 긴 문맥·더 많은 동시 요청이 열립니다.

상수를 안 남기는 두 단계

기존 저비트 양자화는 블록마다 scale·zero-point를 따로 둡니다. 그 상수가 비트를 다시 먹습니다. 일부는 캘리브레이션 데이터도 필요합니다. TurboQuant는 무작위 직교 회전으로 좌표 스파이크를 고르게 한 뒤, 두 손을 잇습니다.

KV 급증과 병목, 회전·PolarQuant·QJL 파이프라인, 가중치·KV 양자화 비교 — 반지름·각도를 먼저 찍고, 남은 오차는 부호 1bit로 보정합니다.

1단계는 입니다. 벡터를 극좌표로 바꿔 Lloyd-Max 코드북으로 스칼라 양자화합니다. 정규화 상수를 저장하지 않습니다. 2단계는 (Quantized Johnson-Lindenstrauss)입니다. 원본과 1단계 복원값의 잔차에 JL 변환을 걸고, 부호(+1/−1)만 1bit로 남깁니다. 내적 추정이 비편향에 가깝게 가서 어텐션 점수의 치우침을 줄입니다. 총 비트는 (b−1)+1=b, 예가 3bit입니다.

보고치는 KV 메모리를 약 6배 줄이고, 장문 벤치마크에서 품질을 유지하며, 캘리브레이션·파인튜닝이 필요 없다고 합니다. 숫자는 논문 조건의 감각이지, 모든 서빙 스택의 보증은 아닙니다.

비교축	가중치 양자화	기존 KV 양자화	TurboQuant
대상	모델 가중치	KV 캐시	KV 캐시·벡터 검색
방식	그룹 scale	채널·토큰별	회전 + 극좌표 + 1bit 잔차
캘리브레이션	자주 필요	대체로 불필요	불필요
상수 오버헤드	scale/zero-point	scale/zero-point	없음
감각	4bit 내외	2bit 수준	3bit, 캐시 절감

가중치 양자화와는 칸이 달라 같이 쓸 수 있습니다. 온디바이스는 가중치 저비트와 KV 3bit를 병행하고, RAG 인덱스는 같은 벡터 압축을 임베딩 쪽에 옮깁니다. PagedAttention·GQA가 캐시 배치를 줄이면, TurboQuant는 칸 안의 정밀도를 줄입니다.

답안은 대상(KV), 두 단계(PolarQuant+QJL), 상수 없음, 가중치 양자화와 병행을 한 장에 닫습니다. 프리필·디코딩의 캐시 자체는 KV 캐시 노트가 받습니다.

터보퀀트

상수를 안 남기는 두 단계

기술사 답안 포인트

관련 용어

관련 토픽