PE Notes · AI
AI 안경 vs 온디바이스 AI vs 클라우드 AI
안경의 센싱, 스마트폰 NPU의 즉시·개인화 처리, 클라우드 대형 모델의 지식·품질을 세 계층으로 가르고, 라우팅 기준과 메모리·지연·비용·오프로딩 계산을 정리합니다.
두 칸 비교는 서버와 단말입니다. 안경이 들어오면 칸이 셋입니다. 은 보고 듣는 창구이고, 스마트폰 는 개인 데이터와 즉시 처리의 허브이며, 는 대형 모델과 최신 지식입니다. 셋은 경쟁이 아니라 분담입니다. 클라우드 vs 온디바이스 두 자 비교는 클라우드 AI vs 온디바이스 AI 글이 닫고, 이 글은 안경을 포함한 세 계층을 닫습니다.
세 계층과 라우팅
센서 계층은 안경입니다. 웨이크워드·VAD·촬영·압축·TTS·HUD입니다. 개인 기기 계층은 폰입니다. 음성 인식, 연락처·일정, 민감 필터, 어디로 보낼지를 고릅니다. 클라우드 계층은 복잡한 시각 질의, 긴 추론, 웹 검색입니다. 라우팅 축은 난이도, 지연, 민감도, 망, 배터리, 비용입니다. 서버로 가도 저장·학습 없이 처리하는 중간 신뢰 모델이 온디바이스와 클라우드 사이에 있습니다.
| 요청 | 위치 | 이유 |
|---|---|---|
| 사진 찍어 | 안경 → 폰 저장 | 단순, 즉시 |
| 엄마에게 문자 | 폰 | 연락처, 저지연 |
| 오늘 일정 요약 | 폰 | 민감, 오프라인 |
| 메뉴판 번역 | 안경 → 폰 → 클라우드 | 시각·고품질 번역 |
| 이 건물 역사 | 클라우드 | 최신·검색 |
| 비행기 모드 통역 | 폰 | 망 없음 |
가중치만 보면 메모리 ≈ 파라미터 수 × 비트 ÷ 8입니다. 3B 4비트는 1.5GB라 폰에 올라갑니다. 7B FP16은 14GB라 폰이 버겁고, 4비트면 3.5GB입니다. 70B FP16은 140GB라 데이터센터입니다. 안경 메모리·전력으로는 LLM 상주가 안 됩니다.
시각 질의 한 건에서 촬영·전송 0.3초는 같습니다. 온디바이스 추론 1.2초면 합 약 1.5초이고 품질이 제한됩니다. 클라우드는 왕복 0.1초 + 추론 0.8초 + 대기 0.3초로 합도 약 1.5초이나 품질이 높고 망에 민감합니다. 단순은 온디바이스, 복잡은 클라우드가 라우팅입니다.
하루 50회×2,000토큰이면 10만 토큰입니다. 100만 토큰당 1달러면 인당 월 약 3달러, 100만 명이면 월 약 300만 달러입니다. 절반을 온디바이스로 돌리면 호출 비용이 절반입니다. 안경에서 2W×3초=6J를 쓰는 대신 Wi-Fi 1W×0.2초=0.2J로 보내면 전송이 약 30배 낫습니다. 안경은 보내고 받는 쪽이 맞습니다.
비교와 현장
| 기준 | AI 안경 | 온디바이스(폰) | 클라우드 |
|---|---|---|---|
| 역할 | 센싱·입출력 | 개인화·즉시·라우팅 | 고품질·대규모 |
| 모델 | 웨이크워드·VAD | sLM·음성·번역 | LLM·멀티모달 |
| 오프라인 | 거의 불가 | 가능 | 불가 |
| 지연 | 입출력 즉시 | 낮음 | 망 의존 |
| 프라이버시 | 타인 촬영 | 기기 안 | 정책 의존 |
| 비용 | 단말 | 단말 | 호출당 |
| 전력 | 수 Wh 이하 | 폰 배터리 | 데이터센터 |
클라우드 단독은 품질이 높고 지연·비용이 큽니다. 온디바이스 단독은 싸고 안전하나 모델이 작습니다. 하이브리드는 작업별 최적이나 라우팅·동기화·버전 관리가 늘습니다.
폰 온디바이스는 양자화·증류·NPU 런타임입니다. 클라우드는 클러스터·RAG·오토스케일입니다. 현장은 작업자 1인칭 영상 → 폰·엣지 인식 → 클라우드 이력입니다. 의료·접근성은 민감 영상을 기기 안에 두고 상세 설명만 클라우드로 보냅니다.
답안은 세 계층 역할, 라우팅 여섯 축, 3B/70B 메모리, 지연 1.5초의 의미, 오프로딩 에너지를 한 장에 닫습니다.
기술사 답안 포인트
관련 용어
관련 토픽
서비스
AI 안경
카메라·마이크·오픈이어와 저전력 NPU를 안경에 넣고, 센싱은 안경이·추론은 폰과 클라우드가 나누는 1인칭 멀티모달 단말의 구성·처리 흐름·제약·프라이버시를 정리합니다.
AI
클라우드 AI vs 온디바이스 AI
원격 서버 추론과 단말 로컬 추론을 지연·프라이버시·모델 규모·비용으로 비교하고, 경량화와 NPU를 전제로 한 하이브리드 선택을 정리합니다.
서비스
엣지 컴퓨팅 vs 클라우드 컴퓨팅
발생지 근처에서 처리하는 엣지와 중앙 데이터센터의 클라우드를 지연·대역·프라이버시·확장으로 가르고, 단말–엣지–클라우드 보완 설계를 정리합니다.