모델구조학습 방식주요 특징
| MLP | 다층 퍼셉트론 | 역전파(Backpropagation) | 입력값 간 순서를 고려하지 않음 |
| DNN | 깊은 신경망 | 역전파 | 복잡한 데이터 처리 가능 |
| RNN | 순환 신경망 | 시간축 학습(시퀀스) | 순서가 중요한 데이터 처리 가능 |
ANN (Artificial Neural Network)
- 인공신경망(ANN)은 인간의 신경망을 모방한 기계 학습 모델.
- 퍼셉트론과 MLP가 ANN의 기본 구조를 이룸.
DNN (Deep Neural Network)
- MLP를 확장하여 은닉층을 깊게 쌓은 신경망을 DNN이라고 함.
- 특징 추출과 복잡한 패턴 학습이 가능하지만, 학습이 어려운 문제(Vanishing Gradient) 발생.
RNN (Recurrent Neural Network)
- Recurrent: 이전의 결과를 다음 입력에 반영
- 과거 데이터를 기억해 문맥(Context) 을 유지
- h: 은닉 상태, f: 활성화 함수, W: 가중치, x: 입력 데이터
- 시퀀스 데이터를 처리하는 신경망
- 은닉층의 출력을 다시 입력으로 사용하는 구조를 가짐 → 순차적 데이터(텍스트, 음성) 분석 가능
- 장기 의존성 문제 발생
- 기울기 소실(Vanishing Gradient): 문장이 길어질수록 과거 정보가 사라짐
- 기울기 폭주(Exploding Gradient): 기울기가 점차 커져 가중치들이 비정상적으로 큰 값이 되면서 결국 발산하는 경우
- 이를 해결하기 위해 LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) 같은 구조가 개발됨