sLLM — Smaller Large Language Model

초거대 언어모델은 범용 추론에 강하지만, 매 호출이 클라우드 연산과 데이터 전송을 전제로 하는 경우가 많습니다. sLLMⓘ(Smaller Large Language Model, 소형 언어모델)은 그 반대 방향입니다. 파라미터를 의도적으로 작게 두고, 특정 업무·폐쇄망·기기 안에서 쓸 수 있게 맞춥니다. 영문으로는 SLM(Small Language Model)과 같이 불리기도 하며, 시험·실무 자료에서는 sLLM 표기를 그대로 쓰는 경우가 많습니다.

정의

sLLM은 통상 수십억(B) 파라미터 이하로 설계된 언어모델입니다. 목적은 모든 과제를 잘 하는 범용성이 아니라, 좁은 도메인에서의 정확도, 추론 비용, 응답 속도, 온프레미스·엣지 배포입니다. GPT-4급 초거대 LLMⓘ과 비교할 때는 “작다”는 규모보다 어디에 두느냐가 더 중요합니다.

등장 배경 / 필요성

대형 모델을 API로만 쓰면 입력이 외부로 나갑니다. 금융·공공·제조처럼 원문이 망 밖으로 나가면 안 되는 환경에서는 그 자체로 도입 장벽입니다. 파인튜닝으로 사내 말투와 용어를 넣으려 해도, 초거대 모델은 학습·서빙 비용이 부담입니다.

모바일, IoT, 현장 게이트웨이처럼 메모리와 전력이 부족한 기기에는 초거대 모델 자체를 올리지 못합니다. 한편 지식증류ⓘ, 양자화ⓘ, 프루닝ⓘ이 실무 수준으로 안정되면서, 작은 모델이 특정 태스크에서 대형 모델에 근접하는 구간이 생겼습니다. sLLM은 이 조건이 겹칠 때 선택하는 모델 계층입니다.

특징

• 경량성: 대략 1B~13B 전후(초거대 대비 수분의 1에서 수십분의 1). 온프레미스·온디바이스 탑재가 현실적입니다.
• 특화성: 법률, 의료, 사내 업무처럼 범위가 정해진 데이터로 맞춰, 좁은 영역 정확도를 우선합니다.
• 저비용·저지연: 토큰당 연산이 작아 실시간 상담, 대량 배치 처리에 유리합니다.
• 보안성: 폐쇄망에 두면 원문 외부 전송을 줄일 수 있습니다.
• 성능 한계: 열린 질문, 긴 도구 사용, 복합 추론에서는 초거대 LLM만 못할 수 있습니다.

구성도 / 아키텍처

sLLM은 처음부터 작게 학습하기도 하고, 대형 Teacher를 압축해 Student로 만들기도 합니다. 배포 직전에는 정밀도와 구조를 한 번 더 줄입니다.

전형적인 파이프라인은 다음과 같습니다.

초거대 LLM(Teacher) → 지식증류 → sLLM(Student)
sLLM → 양자화(FP16 → INT8/INT4) → 프루닝 → 온디바이스/온프레미스 배포

실제 서비스에서는 이 소형 모델을 사내 문서 RAGⓘ와 붙이는 구성이 흔합니다. 모델은 작고, 최신 지식은 검색으로 보완하는 역할 분담입니다.

메커니즘 / 동작 원리

지식증류는 Teacher의 소프트 레이블(확률 분포)을 Student가 흉내 내게 합니다. 정답 레이블만 쓰는 학습보다 “왜 그렇게 판단하는지”에 가까운 신호를 옮길 수 있습니다.

양자화는 가중치와 활성값의 비트 수를 낮춥니다. 메모리 대역폭과 저장 공간이 줄고, 정수 연산 가속을 쓰는 칩에서는 속도도 따라 오릅니다. 과도하면 품질이 무너지므로, 계층별로 비트를 달리 두는 혼합 정밀도가 자주 쓰입니다.

프루닝은 중요도가 낮은 연결을 잘라 파라미터 수를 줄입니다. 구조적 프루닝(헤드·뉴런 단위)은 가속하기 쉽고, 비구조적 프루닝은 압축률은 높아도 하드웨어 이득이 제한적일 수 있습니다.

도메인 적응에는 전체 가중치를 건드리지 않는 LoRAⓘ 등 PEFT가 맞습니다. 적은 GPU로 사내 말뭉치에 맞춘 sLLM을 만드는 실무 경로입니다. 여러 기법을 겹쳐 “큰 모델의 지식을 작은 모델에 넣는 것”이 sLLM 구축의 핵심입니다.

활용 사례

• 폐쇄망 사내 챗봇 — 문서 RAG와 결합해 규정·매뉴얼 질의
• 네트워크 없이 동작하는 모바일 온디바이스 AIⓘ 비서
• 공공·금융처럼 원문 반출이 막힌 업무 보조
• 콜센터처럼 밀리초~초 단위 응답이 필요한 상담 보조
• 제조 현장 게이트웨이의 이상 탐지·음성 명령 등 엣지 컴퓨팅ⓘ 추론

비교표

기술사 답안 포인트

관련 용어

• sLLMⓘ
• 지식증류ⓘ
• 양자화ⓘ
• 프루닝ⓘ
• LoRAⓘ
• 온디바이스 AIⓘ
• 엣지 컴퓨팅ⓘ