1. 생체 신경망 (Biological Neural Network, BNN)
ㅇ 구조
- 1천억개(1O11개) 정도의 신경 세포인 뉴런들이 있고,
. (뉴런 (Neuron) : 뇌의 정보 처리에 관여하는 기본 세포)
- 이들 간을 연결하는 1천조개 이상의 시냅스들로 구성된 결합체
. (시냅스 (Synapse) : 각 뉴런 간을 연결하는 수천만개의 연결부위)
ㅇ 기능
- 시냅스로 연결된, 적응적,병렬적 특성을 갖는, 신경 회로망을 통해,
- 감각,기억,판단,운동 기능을 일으키며, 조화롭게 발현됨
ㅇ 특징
- 병렬 처리, 적응적 학습, 비선형성
2. 인공 신경망 (Artificial Neural Network, ANN)
ㅇ 인간의 뇌 구조(신경계)에 착안, 이를 모방하여 만든 기계 학습법(학습 모델)의 총칭
- 적응적 학습과 병렬 처리 등이 가능함
※ [참고] ☞ 인공 뉴런 참조
- 생물학적 뉴런의 작동 원리를 수학적으로 모방한 컴퓨팅 소자
3. 인공 신경망의 특징
ㅇ 학습이 가능함
- 훈련 데이터 집합을 주면, 연결 강도를 자동 추정하며, 인공 신경망이 만들어짐
ㅇ 적응적 학습
- 신경 세포 구조를 적응적으로 변화시키는 것에 의해 학습 함
. 잘못된 답으로 이끄는 뉴런들 사이의 연결은 약화되고,
. 올바른 답으로 이끄는 연결은 강화됨
* 한편, 시냅스 가소성 (Synaptic Plasticity) 이란? ☞ 신경 가소성 참조
. 시냅스를 통해 신경 전달 물질이 많이 전달되면, 관계 강화됨
. 그 역이면, 관계 약화됨
ㅇ 병렬 정보 처리
- 정보가 신경망 특정 위치가 아니라 신경망 전체에 동시에 저장되고 처리됨
. 통상, 노드의 출력이 연결 강도와 곱하여, 계산이 이루어지므로,
. 각각 독립적으로 계산 처리되면서, 병렬 처리 가능
※ 사실상, 인공 신경망(ANN)은, 딥러닝의 핵심 구조로써,
- 주요 기능은, 학습과 추론이고,
- 그 특징은, 다재다능하고, 강력하며, 확장성이 뛰어남
4. 인공 신경망의 모델
※ 생물학적 뉴런 및 신경망 기능을 수학적으로 모델링한 것
ㅇ 퍼셉트론 (Perceptron) : 인공 신경망의 기본 단위
- 선형 분류기의 일종
- 2개의 층 만을 갖음 : (입력층, 출력층)
- 구성요소 : 입력값, 가중치, 바이어스, 가중치합, 활성화 함수
- 파라미터 : 가중치(weight), 편향(bias)
. 층 마다 다수의 뉴런들이 있으며,
. 층 뉴런 간 연결에 가중치가 존재하며, 이 가중치와 뉴런 값을 곱하고,
. 여러 곱해진 합(가중치 합)에 활성화 함수를 적용한 값이 다음 뉴런의 입력으로 쓰임
. 이때, 각 층에서는 이전 값에 영향 받지 않는 정수로써의 편향도 있을 수 있음
ㅇ 다층 퍼셉트론 (MLP, Multi Layer Perceptron)
- 비선형 분류기의 일종
- 3개의 층을 갖음 : 입력 층, 은닉 층 (하나 이상), 출력 층
* 다층 퍼셉트론은, 딥러닝(은닉 층 깊이가 깊은 학습법)의 기본 구성 요소로,
. CNN, RNN 등의 심층 신경망의 기초가 됨
ㅇ 심층 신경망 (DNN, Deep Neural Network)
- 3층 이상의 더욱 깊이 있는 계층을 가진 신경망의 총칭
5. 인공 신경망의 종류
ㅇ DNN (Deep Neural Network, 심층 신경망)
- 다층 퍼셉트론(MLP)에서, 은닉층 개수를 증가시킨,
- 3층 이상의 은닉층을 가진, 인공 신경망 구조
. 데이터 내의 복잡하고 비선형적 관계를 모델링할 수 있음
. 다양한 형태의 신경망(CNN, RNN 등)의 기반이 됨
- 응용 例) 음성 인식, 이미지 분류, 자연어 처리 등
ㅇ CNN (Convolutional Neural Network, 합성곱 신경망)
- 이미지나 영상 같은 공간적 데이터를 처리하기 위해,
합성곱 연산을 활용해 특징을 추출하고 학습하는 인공 신경망 구조
. 컴퓨팅 성능의 향상, 훈련 데이터의 증가, 심층 신경망 훈련에 대한 다양한 기법 덕분에,
. 복잡한 시각 작업에서 CNN은 인간을 능가하게 됨
- 응용 例) 검색 서비스, 자율 주행차, 자동 비디오 분류 시스템 등
ㅇ RNN (Recurrent Neural Network, 순환 신경망)
- 시계열 데이터나 순차적 데이터를 처리하기 위한 구조
. 이전 시점의 출력을 다음 시점의 입력으로 전달하여,
. 시간적 의존성(temporal dependency)을 학습
- 기본 RNN의 한계 : 긴 시퀀스 학습 시 기울기 소실(Vanishing Gradient) 문제 발생
- 개선형 구조
. LSTM (Long Short-Term Memory) : 장기 의존성(Long-term dependency)을 기억하도록 개선
. GRU (Gated Recurrent Unit) : LSTM 보다 구조가 단순하며 유사한 성능을 보임
- 응용 例) 음성 인식, 자연어 처리, 주가 예측, 기계 번역 등
6. 인공 신경망의 문제 해결 단계 : 학습 및 추론
ㅇ 학습 단계 : 데이터로부터 가중치와 편향을 최적화하는 과정
- 훈련 데이터(학습 데이터)를 사용하여,
- 손실 함수를 최소화하도록
- 가중치와 편향 파라미터를 반복적으로 조정하는 과정
ㅇ 추론 단계 : 학습된 파라미터를 이용해, 새로운 입력의 출력을 계산하는 과정
- 학습 단계에서 얻어진 파라미터(가중치, 편향)를 고정한 채,
- 새로운 입력 데이터에 대해,
- 출력값(분류 결과, 예측값 등)을 계산하는 과정
7. 인공 신경망의 학습 : 딥러닝 (다층 신경망 기반 학습법)
※ 인공 신경망에서 학습이란?
- 최적의 파라미터(가중치,편향)를 찾는 작업
ㅇ 가중 링크 (Weighted Link)
- 뉴런들 간에 링크로 연결되어 있고,
- 그에 연관된 수치 가중치가 있어서,
- 학습을 통해, 가중치들을 반복적으로 조정하게 됨
ㅇ 학습의 본질
- 입력 → 출력 사이의 관계를,
- 명시적인 규칙이 아닌, 가중치와 편향의 수치 조합으로 내부에 저장하는 것
ㅇ 즉, 인공 신경망은, 학습 단계의 파라미터 조정에 의해, 프로그램될 수가 있어서,
- 이로 인해, 데이터로부터 스스로 규칙을 학습하는 능력을 갖는다고 볼 수 있음
8. 인공 신경망의 추론
ㅇ 학습이 완료된 신경망에 대해,
- 가중치와 편향을 더 이상 변경 않고 고정한 상태에서,
- 입력 데이터를 순전파(Forward Propagation)하여,
- 출력 결과를 계산하는 과정
ㅇ 추론 단계의 특징
- 더이상 학습(역전파, 가중치 갱신)은 수행하지 않음
- 이때는, 계산량이 상대적으로 적어 실시간 처리에 적합
- 즉, 분류, 예측, 인식 등 실제 서비스 단계에 해당
ㅇ 결과적으로, 추론이란,
- 학습을 통해 형성된 내부 모델을 이용하여
- "새로운 입력에 대한 판단을 내리는 과정"임
9. 인공 신경망의 응용
ㅇ 분류,예측,평가,합성,제어 등 다양한 분야에 적용 가능함
- 즉, 일반적인 문제 해결을 위한 도구로써 주로 활용됨
ㅇ 例) 이미지 분류, 음성 인식, 동영상 추천, 바둑 경기 등