PE Notes · AI

멀티모달 기술요소

텍스트·이미지·음성·센서를 한 표현 공간으로 모으는 인코더–융합–디코더와, Early/Late Fusion·크로스 어텐션, CLIP 정렬과 VQA 흐름을 정리합니다.

2026-09-12

한 채널만 보면 의미가 빠집니다. “이 그래프를 설명하라”는 그림 없이 닫히지 않고, 사용자는 이미 이미지와 말을 섞어 묻습니다. 은 둘 이상의 를 같이 받고, 필요하면 같이 내는 구조입니다. 토픽이 모델 관점이라면, 여기서는 인코더와 융합을 풉니다.

정의

입출력 후보는 텍스트(문장·코드), 비전(이미지·영상·깊이), 음성·오디오, 센서(IMU·LiDAR)입니다. 단일 모달은 한 임베딩, 멀티모달은 공통 또는 정렬된 공간입니다.

텍스트는 , 이미지는 나 CNN으로 패치를 토큰화합니다. 이것이 입니다. 음성은 스펙트로그램을 토큰으로 바꿉니다(Whisper, wav2vec). 설계의 핵심은 어디서 붙이느냐입니다.

은 이미지–텍스트 쌍을 대조학습으로 붙입니다. 같은 쌍의 코사인 유사도를 키우고, 다른 쌍은 줄입니다. 손실은 InfoNCE입니다. 는 이미지와 질문 인코더를 크로스 어텐션으로 묶은 뒤, 분류기나 생성 디코더로 답을 냅니다.

텍스트→이미지(디퓨전), 이미지→텍스트(캡션), 의료영상+기록, 카메라+LiDAR 인식이 같은 파이프라인입니다. 정렬이 어긋나면 한 모달에 기대고, 인코더를 여러 개 돌리면 자원이 큽니다.

온디바이스로 내리려면 경량화가 붙고, 로봇 제어로 나가면 Physical AI와 만납니다. Any-to-Any는 임의 모달 입력을 임의 모달 출력으로 여는 다음 단계입니다.

중간 융합(은닉층에서 붙이기)은 Early와 Late 사이에 있습니다. 설계가 복잡해지는 대신 표현의 균형을 노립니다. 공간이 어긋난 상태가 모달 갭입니다.