Rebalance

PE Notes · AI

인공신경망 (ANN)

입력·은닉·출력층과 가중치로 비선형 관계를 근사하는 인공신경망의 순전파·역전파, 활성화함수 선택, 딥러닝으로의 확장을 정리합니다.

규칙을 사람이 다 적지 못하는 인식 문제에서, 데이터로 연결 강도를 익히는 모델이 필요했습니다. 은 뉴런-시냅스를 가중치로 옮긴 수학 모델입니다. 단층 은 XOR 같은 비선형 분리를 못 했고, 다층과 가 그 한계를 넘기며 딥러닝으로 이어졌습니다.

정의

입력층·은닉층·출력층의 노드와 그 사이 가중치·편향으로 이뤄진 학습 모델입니다. 데이터를 보며 가중치를 바꿔, 입력과 출력 사이 비선형 관계를 근사합니다.

구성요소

구성요소 설명
입력층 특성값을 받는다.
은닉층 비선형 변환으로 특징을 뽑는다. 여러 층이면 DNN이다.
출력층 분류 확률이나 회귀값을 낸다.
가중치 / 편향 연결의 세기와 절편. 학습 대상이다.
노드 출력에 비선형성을 준다.
예측과 정답의 오차를 숫자로 만든다.
다섯 개 입력 노드, 두 은닉층, 두 출력 노드가 가중치로 연결되고 편향과 활성화가 표시된 다층 신경망
입력층 → 은닉층 → 출력층. 연결은 가중치, 노드에는 편향과 활성화가 붙는다.

한 줄로는 x → (W, b) → 은닉(활성화) → … → 출력 → ŷ 입니다.

순전파와 역전파

는 입력이 출력 쪽으로만 흐릅니다. 각 노드는 이전 출력을 가중합하고 편향을 더한 뒤 활성화를 적용합니다. z = W·x + b, a = f(z).

역전파는 손실을 구한 다음, 연쇄법칙으로 출력층에서 입력층 쪽으로 ∂L/∂W를 계산합니다. 경사하강법으로 W ← W - η·∂L/∂W 처럼 갱신합니다. η는 입니다.

위는 입력·은닉 변환·예측의 순전파, 아래는 손실·기울기 전달·가중치 갱신의 역전파가 순환하는 학습 루프
순전파로 예측하고, 손실에서 기울기를 거꾸로 넘겨 가중치를 갱신한다.

활성화함수 비교

비선형성이 없으면 층을 쌓아도 선형 모델과 같습니다. 그래서 활성화를 고릅니다.

비교축 Sigmoid Tanh ReLU Leaky ReLU
출력 범위 (0, 1) (-1, 1) [0, ∞) (-∞, ∞)
심함 상대적으로 심함 양수 구간에서 완화 완화
연산 지수 지수 비교만 비교만
약점 비영점 중심, 소실 소실이 남음 Dying ReLU 음수 기울기 계수가 필요
주 사용 이진 분류 출력 과거 RNN 은닉 현재 은닉 기본 ReLU가 죽을 때

은닉층 기본은 인 경우가 많습니다. 출력층은 과제에 맞춰 시그모이드·소프트맥스를 따로 둡니다.

활용과 확장

이미지 분류(CNN), 언어(트랜스포머), 시계열(RNN/LSTM), 이상탐지, 추천, 강화학습의 가치·정책 근사에 쓰입니다. 단순 ANN에서 CNN, RNN, Transformer, 멀티모달로 가지가 늘었고, 양자화·프루닝 같은 경량화와 NAS(구조 탐색)가 이어집니다.

기술사 답안 포인트

관련 용어

관련 토픽

← Topics 목록