PE Notes · AI

클라우드 AI vs 온디바이스 AI

원격 서버 추론과 단말 로컬 추론을 지연·프라이버시·모델 규모·비용으로 비교하고, 경량화와 NPU를 전제로 한 하이브리드 선택을 정리합니다.

2026-09-06

한동안 AI 서비스는 큰 모델을 데이터센터에 두고 API로 부르는 쪽이 기본이었습니다. 원문 전송, 네트워크 단절, 밀리초 응답이 겹치면서 반대 선택인 가 같은 비교표에 올라왔습니다. 차이는 알고리즘 이름보다 추론이 어디서 일어나는가입니다.

정의

는 단말에서 입력을 보내고, 원격 서버가 추론한 뒤 결과만 돌려주는 방식입니다. 모델 갱신이 쉽고, 초대형 파라미터를 쓸 수 있습니다.

온디바이스 AI는 스마트폰, PC, 차량, IoT처럼 사용자 기기 안에서 추론합니다. 네트워크 없이도 동작할 수 있고, 원문이 기기 밖으로 나가지 않습니다. 그 자리에 올리려면 수준의 경량화가 전제입니다. 현장 게이트웨이까지 넓히면 과 맞닿습니다.

개인정보 규제와 폐쇄망 업무는 입력을 외부로 내기 어렵습니다. 공장·차량·오프라인 구간은 왕복 지연과 단절이 곧 기능 실패입니다. 한편 단말 칩만으로는 열린 대화나 고해상 생성이 아직 버겁습니다. 그래서 둘을 배타가 아니라 배치 선택으로 봅니다.

클라우드 경로는 단말 → 전송 → 원격 GPU → 응답입니다. 온디바이스는 단말 → 로컬 모델(NPU) → 결과입니다. 는 짧은 명령·센서 처리는 기기에서, 긴 추론은 클라우드로 넘긴 뒤 결과를 합칩니다.

복잡한 멀티턴·대용량 생성, 불특정 다수 트래픽은 클라우드가 맞습니다. 의료·금융 원문, 네트워크가 불안정한 현장, 배터리 한도가 있는 웨어러블은 온디바이스를 먼저 봅니다.

단말에 올리려면 양자화, 프루닝, 지식증류가 한 세트입니다. 연산은 나 모바일 GPU가 맡습니다. 모델이 작아져도 과제가 좁으면 체감 품질을 유지하는 구간이 생깁니다.